KKC_0262 | Monitoring von KI-Agenten: Kontrolle & Sicherheit

KI-Agenten sind mehr als Chatbots: Sie planen, rufen Tools auf, lesen und schreiben Daten und können damit reale Prozesse beeinflussen. Genau deshalb reicht klassisches Logging nicht aus. In diesem Seminar bauen Sie ein Monitoring- und Sicherheitsverständnis auf, das speziell für agentische Workflows funktioniert.

Sie starten mit typischen Agenten-Architekturen und leiten daraus konkrete Risiken ab, etwa Prompt-Injection über externe Inhalte, Tool-Missbrauch durch zu breite Berechtigungen, Halluzinationen mit folgenschweren Aktionen oder Retry-Schleifen, die Kosten explodieren lassen. Anschließend erarbeiten Sie Observability für Agenten: strukturierte Events statt Textlogs, Tracing über Runs, Steps und Tool-Calls, Correlation IDs sowie Metriken wie Erfolgsquote, Abbruchgründe und Zeit pro Schritt. Darauf aufbauend definieren Sie Guardrails: Tool-Policies, Allow- und Deny-Listen, Output-Validierung über Schemas und Redaction sowie Human-in-the-Loop für kritische Aktionen.

Ein weiterer Schwerpunkt ist Security rund um Identitäten, Secrets und Daten: Least Privilege, Token-Lebenszyklen, Logging-Hygiene und PII-Schutz. Zum Schluss verbinden Sie Qualität und Betrieb: Evals und Regression Monitoring nach Prompt- oder Modelländerungen, Budgeting und Rate-Limits sowie Incident Response mit Run-Replay, Audit-Trails und Kill-Switch. Sie gehen mit einem klaren Vorgehen nach Hause, um Agenten kontrolliert, nachvollziehbar und sicher zu betreiben.

• Agenten-Architekturen und typische Risiken strukturiert einordnen
• Prompt Injection, Tool-Missbrauch, Halluzinationen und Kostenrisiken erkennen
• Observability mit Events, Tracing, Correlation IDs und Metriken aufbauen
• Guardrails, Tool-Policies, Output-Validierung und Redaction definieren
• Identitäten, Secrets, Datenzugriffe und Least Privilege absichern
• Evals, Regression Monitoring, Budgeting und Rate-Limits einsetzen
• Incident Response mit Run-Replay, Audit-Trails und Kill-Switch planen

Das Seminar richtet sich an KI-Engineer/innen, Entwickler/innen, Security-Teams, DevOps, Plattformteams und Verantwortliche für agentische KI-Workflows.

Vorausgesetzt werden Grundkenntnisse zu KI-Anwendungen, APIs oder Softwarebetrieb. Kenntnisse in Logging, Monitoring oder IT-Sicherheit sind empfehlenswert.

• Agenten verstehen, Risiken erkennen
  • Agenten-Architekturen: Planner, Executor, Tool-Use
  • Failure Modes: Halluzinationen, Tool-Missbrauch, Prompt-Injection
  • Bedrohungsmodell für Agenten-Workflows
• Observability für Agenten statt Chat-Logs
  • Tracing von Runs, Steps, Tools und Entscheidungen
  • Strukturierte Events, Correlation IDs, Session-Kontext
  • KPIs: Erfolgsquote, Abbrüche, Retry-Schleifen
• Guardrails und Policy Enforcement
  • Allow-/Deny-Listen für Tools, Daten und Aktionen
  • Output-Validierung: Schemas, Constraints, Redaction
  • Human-in-the-Loop bei kritischen Aktionen
• Security: Daten, Identitäten, Secrets
  • Least Privilege für Agenten und Tool-Accounts
  • Secrets Handling, Token-Lebenszyklen, Rotation
  • PII-Schutz, Data Loss Prevention, Logging-Hygiene
• Qualität messen: Evals, Tests, Regressionen
  • Offline-Evals für Agentenaufgaben und Tool-Calls
  • Golden Tasks, Rubrics, automatische Checks
  • Regression Monitoring nach Modell- oder Prompt-Updates
• Cost, Rate Limits und Stabilität
  • Budgeting pro Run, Team, Use Case
  • Token- und Tool-Kosten sichtbar machen
  • Circuit Breaker, Timeouts, Backoff-Strategien
• Incident Response für Agenten
  • Run-Replay, Root-Cause-Analyse, Audit-Trails
  • Alarmierung: Anomalien, Policy-Verstöße, Datenabfluss
  • Rollbacks, Kill-Switch, sichere Degradationspfade