KKC_0339 | LiteLLM Schulung: AI-Gateway sicher betreiben

LiteLLM Schulung: AI-Gateway sicher betreiben vermittelt praxisnah, wie Sie zentralen KI-Zugriff über LiteLLM Proxy kontrollieren, absichern und auswerten. Mehrere KI-Anwendungen brauchen einen kontrollierten Zugang zu Cloud-Modellen und lokalen Inferenzdiensten.

LiteLLM Proxy als zentralen Zugriffspunkt für KI-Anwendungen einzurichten sowie Modell-Aliasse und Provider-Endpunkte kontrolliert zu konfigurieren, stehen dabei im Mittelpunkt. Die Inhalte verbinden fachliche Einordnung, konkrete Umsetzung und die Anforderungen an Qualität, Sicherheit und Nachvollziehbarkeit.

Damit eignet sich das Angebot für Unternehmen, die neue KI-, Daten- oder Automatisierungslösungen nicht nur testen, sondern strukturiert in belastbare Arbeitsabläufe überführen möchten.

• LiteLLM Proxy als zentralen Zugriffspunkt für KI-Anwendungen einrichten
• Modell-Aliasse und Provider-Endpunkte kontrolliert konfigurieren
• Cloud-Modelle und lokale Modelle über eine einheitliche API anbinden
• API-Aufrufe testen, protokollieren und nachvollziehbar auswerten
• Sicherheits-, Kosten- und Governance-Anforderungen im Gateway berücksichtigen
• Betriebsstandards für skalierbaren KI-Zugriff definieren

Das Angebot richtet sich an IT-Administratoren/innen, Plattformteams, DevOps, Security-Verantwortliche und Entwickler/innen, die KI-Zugriffe zentral steuern und absichern möchten.

Grundkenntnisse zu APIs, Containern und KI-Modellen werden empfohlen. Erfahrung mit Betrieb oder Absicherung von Plattformdiensten ist hilfreich.

Gateway-Architektur und API

• Komponenten des AI-Gateways mit LiteLLM
• OpenAI-kompatible API des Proxys
• Modell-Aliasse zwischen Anwendung und Provider

Container und Konfiguration

• LiteLLM-Proxy im Docker-Container
• Konfiguration über Umgebungsvariablen
• PostgreSQL für persistente Verwaltungsdaten
• Secret-Verwaltung außerhalb der Konfigurationsdatei

Cloud-Modelle und lokale Modelle

• Provider-Endpunkte für Cloud-Modelle
• OpenAI-kompatible APIs lokaler Modelle
• Verbindungstests für jeden Modell-Alias

Zugriff über virtuelle API-Schlüssel

• Virtuelle API-Schlüssel mit Ablaufdatum
• Schlüsselzuordnung zu Teams und Benutzerkonten
• Sperren kompromittierter API-Schlüssel

Budgets und Verbrauchsgrenzen

• Budgets pro API-Schlüssel und Team
• Anfrage- und Token-Limits pro Minute
• Testaufrufe bei erreichten Verbrauchsgrenzen

Routing und Ausfallschutz

• Fallbacks zwischen Modell-Deployments
• Load-Balancing über mehrere Endpunkte
• Timeouts für Provider-Aufrufe
• Wiederholungen bei temporären Fehlern

Monitoring und Betriebstests

• Kosten- und Token-Daten je Schlüssel
• LiteLLM-Metriken für Prometheus
• Protokolle ohne Prompts und Antworten
• Betriebstests für Routing-Regeln
• Betriebstests für Verbrauchsgrenzen