KKC_0304 | AI Red Teaming für Rüstungs- und Defense-Systeme

Dieses Seminar richtet sich an alle, die KI im Rüstungs- und Defense-Kontext nicht nur entwickeln oder einkaufen, sondern unter realistischen Bedingungen absichern müssen. Sie starten mit einem Bedrohungsmodell, das nicht bei abstrakten „AI Risks“ stehen bleibt, sondern Assets, Trust Boundaries und Mission Impact sauber beschreibt.

Darauf aufbauend analysieren Sie typische Angriffsflächen entlang der KI-Lieferkette: Datengewinnung, Labeling, Training, Deployment, Schnittstellen und der menschliche Operator. Im Kern trainieren Sie AI Red Teaming als wiederholbaren Prozess. Sie lernen Evasion-Angriffe auf Vision- und Sensorik-Workflows zu strukturieren, Poisoning-Risiken in Trainingsdaten und Feedback-Kanälen zu erkennen und Privacy-Angriffe wie Model Inversion oder Membership Inference zu bewerten.

Ein eigener Block widmet sich LLM-Red-Teaming: Prompt Injection über Dokumente, RAG und Tools, Jailbreak-Varianten sowie das Risiko von Halluzinationen, wenn Ausgaben in Lagebilder, Entscheidungsunterstützung oder technische Dokumentation einfließen. Anschließend übersetzen Sie Findings in Adversarial Defense: Input-Validierung, Guardrails, Policy Enforcement, Rate Limits, robuste Evaluations-Checks und Monitoring gegen Drift und Abuse. Sie definieren Metriken, Severity und Abnahmekriterien, dokumentieren reproduzierbare Testfälle und erstellen einen Maßnahmenplan, der in Governance und Change Management passen. Am Ende können Sie Red-Team-Ergebnisse auditierbar aufbereiten und die Wirksamkeit von Schutzmaßnahmen nachvollziehbar belegen.

• Security Engineers und Cybersecurity-Verantwortliche in Defense-Organisationen
• KI- und ML-Engineers, die Modelle in kritischen Systemen betreiben
• Systemarchitekten und Integrationsverantwortliche für Sensorik, Datenpipelines und APIs
• GRC-, Risk- und Compliance-Funktionen mit KI-Prüfaufträgen
• Alle, die KI-Risiken im Rüstungsbereich realistisch testen und belastbar absichern wollen

• Grundverständnis von IT-Security und gängigen Bedrohungsmodellen
• Basiswissen zu ML/LLM-Konzepten und Systemintegration ist hilfreich

• Bedrohungsmodell für KI im Defense-Kontext
  • Angriffsflächen: Daten, Modelle, Schnittstellen, Operator
  • Mission Impact statt nur Modellmetriken
  • Threat Modeling mit Assets, Trust Boundaries
• Adversarial ML: Angriffe, die wirklich passieren
  • Evasion: adversarial examples in Vision, Sensorik
  • Poisoning: Trainingsdaten und Feedback-Kanäle
  • Model Inversion und Membership Inference
• LLM-Red-Teaming für Einsatz- und Lagebilder
  • Prompt Injection über Tools, RAG, Dokumente
  • Jailbreaks, Mehrsprachigkeit, indirekte Angriffe
  • Halluzinationen als Sicherheits- und Haftungsrisiko
• Supply-Chain- und Integrationsrisiken
  • Third-Party-Modelle, Updates, Model Registry
  • Abhängigkeiten: Frameworks, Container, GPU-Stacks
  • Backdoors und Trojaning erkennen
• Defense Engineering: Schutzmaßnahmen mit Nachweis
  • Input Sanitization, Robustness Checks, Rate Limits
  • Guardrails, Policy Enforcement, Output Filtering
  • Monitoring: Drift, Abuse, Anomalien, Telemetrie
• Testdesign, Metriken und Abnahme
  • Red-Team-Testfälle, Coverage, Severity Scoring
  • Reproduzierbarkeit, Testdatenhygiene, Logging
  • Abnahmekriterien und Sicherheitsargumentation
• Governance, Compliance und sichere Betriebsmodelle
  • Rollen, Freigaben, Change Management
  • Dokumentation: Risk Register, Findings, Maßnahmenplan
  • Secure Deployment: Air-Gap, On-Prem, Zero Trust