KKC_0121 | KI Securitykurs: Schutz vor bösartigen LLMs, WormGPT & Co.

Bösartige KI-Tools wie WormGPT und FraudGPT verändern nicht nur die Qualität von Phishing-Mails, sondern auch die Geschwindigkeit, mit der Angreifer ganze Kampagnen aufsetzen, variieren und automatisieren. In diesem Seminar analysieren Sie typische Angriffsketten, in denen LLMs für Reconnaissance, Pretexting, Malware-Lure, Helpdesk-Bypass oder Business Email Compromise eingesetzt werden. Sie lernen, welche Verteidigungsmaßnahmen wirklich greifen, wenn Textqualität nicht mehr als Indikator taugt und Angriffe stark personalisiert sind.

Ein Schwerpunkt liegt auf Prompt-Injection und indirekter Prompt-Injection in Chatbots, RAG-Systemen und Agenten-Workflows. Sie erarbeiten, wie Angreifer über Dokumente, Links oder Tickets Anweisungen einschleusen, Daten abziehen oder Tool-Aufrufe missbrauchen. Darauf aufbauend entwickeln Sie Hardening-Maßnahmen wie Input- und Output-Filter, Guardrails, Zitier- und Quellenpflicht in RAG, sowie Secrets-Schutz für Tokens und API-Keys.

Gleichzeitig bauen Sie Detection-Ansätze: Welche Log-Quellen Sie brauchen, welche Signale in IdP, E-Mail, Proxy, EDR, DLP und GenAI-Telemetrie entstehen und wie daraus robuste Heuristiken und Playbooks für SOC und Incident Response werden. Am Ende können Sie GenAI-Use-Cases risikobasiert bewerten, Kontrollen priorisieren und Vorfälle so dokumentieren, dass Ursachen im Prozess und nicht nur im Modell sichtbar werden.

• Angriffsketten mit bösartigen LLMs und automatisierten Kampagnen analysieren
• KI-gestütztes Phishing, Pretexting und Business Email Compromise erkennen
• Direkte und indirekte Prompt Injection in Chatbots, RAG und Agenten bewerten
• Input- und Output-Filter sowie Guardrails risikoorientiert einsetzen
• Quellenpflichten, Secrets-Schutz und sichere Tool-Aufrufe gestalten
• Red-Teaming-Szenarien und belastbare Sicherheitstests entwickeln
• Vorfälle nachvollziehbar dokumentieren und wirksam behandeln

Das Seminar richtet sich an IT-Sicherheitsbeauftragte, Security-Analyst/innen, SOC-Mitarbeitende, KI-Verantwortliche, Entwickler/innen sowie Fachkräfte aus Risikomanagement und Informationssicherheit.

Grundkenntnisse in IT-Sicherheit, Netzwerken oder KI-Anwendungen werden vorausgesetzt. Erfahrungen mit LLMs, RAG oder Security Operations sind hilfreich.

• Bedrohungsbild: bösartige KI in der Praxis
  • WormGPT, FraudGPT und ähnliche Modelle: Fähigkeiten und Grenzen
  • Angriffsketten mit GenAI: von Recon bis Exfiltration
  • Warum klassische Security-Kontrollen oft zu spät greifen
• Prompt-Injection, Data Poisoning, Model Abuse
  • Prompt-Injection in Chatbots, RAG und Agenten
  • Indirekte Prompt-Injection über Dateien, Links, Tickets
  • Poisoning von Trainingsdaten und Wissensbasen
  • Abuse von Tools, Plugins und Actions
• KI-gestütztes Phishing und Social Engineering
  • Business Email Compromise mit LLM-Textqualität
  • Deepfake Voice: Angriffsabläufe und Erkennungsmerkmale
  • Pretexting, Smishing, MFA-Fatigue, Helpdesk-Bypass
• Detection Engineering für GenAI-Angriffe
  • Log-Quellen: E-Mail, IdP, EDR, Proxy, DLP, Chatbot-Telemetrie
  • Signale und Heuristiken: Schreibmuster, TTPs, Anomalien
  • Playbooks für SOC: Triage, Evidence, Eskalation
• Hardening von LLM- und RAG-Systemen
  • Input/Output-Filter, Content Policies, Guardrails
  • Secrets-Schutz: Token, API-Keys, Prompt-Leaks verhindern
  • RAG-Sicherheit: Quellenbewertung, Chunking, Zitierpflicht
  • Least Privilege für Agenten und Tool-Aufrufe
• Incident Response und Forensik bei KI-Missbrauch
  • Beweissicherung: Prompts, Kontexte, Tool-Calls, Artefakte
  • Root Cause: Lücke im Workflow statt nur im Modell
  • Post-Incident Maßnahmen: Controls, Training, Monitoring
• Governance, Risiko und Compliance
  • Risikobewertung für GenAI-Use-Cases (Threat Modeling)
  • Policy-Design: erlaubte Daten, erlaubte Tools, Freigaben
  • Lieferkette: Anbieterprüfung, Datenflüsse, Verträge