KKC_0303 | TinyML für Defense: Quantisierung, Edge-Deploy

Dieses Seminar ist für Sie, wenn Sie Sensorik-nahe Machine-Learning-Modelle nicht nur trainieren, sondern unter harten Embedded-Randbedingungen betreiben möchten. Sie starten mit typischen Use-Cases taktischer Sensoren und leiten daraus konkrete Anforderungen ab: Latenzbudgets, Energieverbrauch, Speichergrenzen, Bandbreitenlimits und die Konsequenzen für Modellwahl und Datenpipeline. Danach bauen Sie eine robuste Pipeline für Zeitreihen und Signale auf.

Sie arbeiten mit Windowing, Overlap und Labeling-Strategien, erzeugen sinnvolle Features wie FFT-basierte Spektren oder statistische Kennwerte und vermeiden Daten-Leakage durch saubere Splits und reproduzierbare Experimente. Im Kern geht es um Modell-Quantisierung für Embedded Defense. Sie lernen die Unterschiede zwischen Post-Training Quantization und Quantization-Aware Training, wählen geeignete Calibration-Daten und entscheiden zwischen per-tensor und per-channel Quantisierung.

Sie diagnostizieren Quantisierungsfehler, erkennen problematische Layer und setzen Gegenmaßnahmen um, ohne die Architektur unnötig aufzublähen. Ergänzend nutzen Sie Pruning und Knowledge Distillation, um Modelle wirklich kleiner und schneller zu machen. Abschließend bringen Sie das Modell auf das Target: Sie verstehen die Memory Arena in TensorFlow Lite Micro, nutzen CMSIS-NN-Optimierungen, messen Zykluszeiten und leiten daraus konkrete Optimierungsschritte ab.

Sie gehen außerdem auf Robustheit ein, testen FPR unter Einsatzbedingungen und planen Updates und Drift-Erkennung für den Betrieb.

• Use Cases taktischer Sensoren und Embedded-Anforderungen ableiten
• Latenz, Energieverbrauch, Speichergrenzen und Bandbreitenlimits berücksichtigen
• Zeitreihen- und Signalpipelines mit Windowing, Overlap und Labeling aufbauen
• Features wie FFT-Spektren und statistische Kennwerte erstellen
• Post-Training Quantization und Quantization-Aware Training vergleichen
• Pruning, Knowledge Distillation und CMSIS-NN-Optimierungen einsetzen
• Zykluszeiten, FPR, Drift-Erkennung und Updates für den Betrieb planen

Das Seminar richtet sich an Embedded-Entwickler/innen, ML-Engineer/innen, Defense-nahe Entwicklungsteams, Sensorik-Teams und technische Projektverantwortliche.

Vorausgesetzt werden Kenntnisse in Machine Learning, Embedded-Systemen oder Signalverarbeitung. Python- oder C/C++-Erfahrung ist empfehlenswert.

Use-Cases taktischer Sensorik

• Signal- und Sensordaten: Audio, Vibration, IMU, Radar-Features
• On-device Inferenz: Latenz, Energie, Bandbreite, EMV-Randbedingungen
• Threat Modeling: Angriffsflächen bei Edge-AI

Datenpipeline & Feature Engineering

• Sampling, Windowing, Overlap, Labeling-Strategien
• FFT, Mel-Features, Statistical Features, Spectrogramme
• Datensplits, Leakage vermeiden, reproduzierbare Experimente

Modellarchitekturen für TinyML

• 1D-CNNs, DS-CNN, kleine RNNs, Temporal Convolutions
• Trade-offs: Accuracy vs. Footprint vs. Latenz
• Early-Exit und Kaskaden für Energieeinsparung

Quantisierung richtig machen

• Post-Training Quantization (PTQ) vs. Quantization-Aware Training (QAT)
• INT8, per-channel vs. per-tensor, Calibration-Daten
• Quantisierungsfehler diagnostizieren und beheben

Pruning, Distillation & Kompression

• Structured Pruning für echte Speed-ups
• Knowledge Distillation für kleine Modelle
• Speicherlayout, Operator-Fusion, Lookup-Tabellen

Deployment auf Embedded Targets

• TensorFlow Lite Micro: Operatoren, Memory Arena, Debugging
• CMSIS-NN und Hardwarebeschleuniger-Grundlagen
• Profiling: Zykluszeiten, RAM/Flash, Energieabschätzung

Robustheit, Tests und Betrieb

• Confusion Matrix, ROC, FPR unter Einsatzbedingungen
• Drift-Erkennung, Re-Calibration, Update-Strategien
• Adversarial/Signal-Angriffe: Baseline-Härtung