KKC_0037 | LLM Security: Injections erkennen & abwehren

In diesem Seminar erarbeiten Sie die wichtigsten Konzepte, Werkzeuge und Einsatzmöglichkeiten praxisnah. Im Mittelpunkt stehen moderne KI-Entwicklung mit Sprachmodellen, Automatisierung, Datenpipelines, Tools und praxisnahen Implementierungen. Sie lernen typische Einsatzszenarien kennen, bewerten Chancen und Grenzen und übertragen die Inhalte auf konkrete Aufgaben aus dem Arbeitsalltag.

Praxisnahe Übungen, Beispiele und Leitfragen helfen Ihnen, das Thema strukturiert, sicher und nachvollziehbar anzuwenden.

• Zentrale Sicherheitsrisiken von LLM-Anwendungen erkennen
• Prompt Injection, Datenabfluss und Manipulationsversuche einordnen
• Schutzmaßnahmen für Prompts, Tools, Datenquellen und Ausgaben planen
• LLM-Anwendungen mit Validierung und Zugriffskontrollen absichern
• Risiken in Automatisierung, RAG und Datenpipelines bewerten
• Praxisnahe Leitfragen für sichere KI-Anwendungen ableiten

Das Seminar richtet sich an Entwickler/innen, Security-Verantwortliche, IT-Teams, KI-Projektleitungen und Architekt/innen, die LLM-Anwendungen sicherer gestalten möchten.

Empfohlen werden Grundkenntnisse zu IT-Sicherheit, Softwareentwicklung oder KI-Anwendungen. Erste Erfahrungen mit LLMs oder APIs erleichtern den Einstieg.

• Grundlagen der LLM-Architektur und Angriffsflächen
  • Funktionsweise von Transformern und Tokenizern aus Sicherheitsperspektive
  • Unterschiede zwischen klassischer AppSec und LLM-Security
  • Überblick über die OWASP Top 10 für Large Language Models
  • Lifecycle einer KI-Anwendung und kritische Punkte
• Prompt Injection und Jailbreaking (Red Teaming)
  • Direkte Prompt Injection (DAN, Developer Mode, Obfuscation)
  • Jailbreaking-Techniken zur Umgehung von Sicherheitsrichtlinien
  • Automatisierte Angriffe auf LLM-APIs
  • Payload-Generierung und Token-Manipulation
• Indirect Prompt Injection und RAG-Security
  • Angriffsvektoren über externe Datenquellen (E-Mails, Websites)
  • Manipulation von Retrieval Augmented Generation (RAG) Systemen
  • Versteckte Instruktionen in Dokumenten und Bildern
  • Exfiltration von Unternehmensdaten durch Prompt-Hacking
• Abwehrstrategien und Defense-in-Depth
  • Implementierung von Input- und Output-Filtern
  • Einsatz von LLM-Firewalls und Guardrails (z. B. NVIDIA NeMo)
  • Prompt-Härtung und System-Prompt-Design
  • Erkennung von adversarialen Eingaben
• Governance und sicherer Betrieb
  • Monitoring und Logging von LLM-Interaktionen
  • Rate Limiting gegen Model Denial of Service
  • Richtlinien für den sicheren Einsatz von Generativer KI
  • Aufbau einer internen Red Teaming Strategie