KKC_0299 | LLM Self-Hosting und Deployment

Wenn Sie LLMs produktiv nutzen möchten, aber keine Daten an externe Anbieter geben möchten, brauchen Sie mehr als „ein Modell starten“. In diesem Seminar entwickeln Sie einen belastbaren Plan für Self-Hosting und setzen ihn praktisch um. Sie beginnen mit den Architekturentscheidungen: Welche Use Cases brauchen niedrige Latenz, welche eher hohen Durchsatz?

Welche Datenklassen und Compliance-Anforderungen bestimmen den Betrieb? Danach sizen Sie Hardware nachvollziehbar statt nach Bauchgefühl. Sie rechnen VRAM-Bedarf über Parameterzahl, Quantisierung, Kontextlänge und KV-Cache ab und leiten daraus ab, ob CPU, einzelne GPU oder Multi-GPU sinnvoll ist.

Anschließend wählen Sie passende Modelle und Formate (GGUF, safetensors) und prüfen Lizenz- und Qualitätsaspekte. Im Deployment-Teil bringen Sie ein Serving-Setup mit vLLM, llama. cpp oder TGI in eine reproduzierbare Umgebung (Docker/Compose, optional Kubernetes).

Sie richten OpenAI-kompatible Endpoints ein, planen Versionierung und Rollouts und lernen, wie Sie Batching, Parallelität und Limits so setzen, dass P95-Latenz und Stabilität passen. Sicherheit ist dabei kein Nachgedanke: Sie implementieren Authentifizierung, TLS, Secrets-Handling, Logging und Gegenmaßnahmen gegen Prompt Injection. Zum Abschluss etablieren Sie Monitoring und Runbooks, damit Updates, Kapazitätsplanung und Incident-Reaktionen im Alltag funktionieren.

Optional erweitern Sie das System um RAG, inklusive Qualitätsmessung und Guardrails.

• Use Cases, Datenklassen und Compliance-Anforderungen für Self-Hosting bewerten
• Hardwarebedarf anhand von Parametern, Quantisierung, Kontext und KV-Cache abschätzen
• Geeignete Modelle, Formate und Lizenzaspekte vergleichen
• Serving-Setups mit vLLM, llama.cpp oder TGI einordnen
• OpenAI-kompatible Endpoints, Versionierung und Rollouts planen
• Authentifizierung, TLS, Secrets, Logging und Prompt-Injection-Schutz berücksichtigen
• Monitoring, Runbooks und optionale RAG-Erweiterungen vorbereiten

Das Seminar richtet sich an IT-Administrator/innen, DevOps-Teams, Entwickler/innen, Architekt/innen und KI-Verantwortliche, die LLMs eigenständig betreiben möchten.

Vorausgesetzt werden technische Grundkenntnisse in Linux, Serverbetrieb oder Containerumgebungen. Erfahrungen mit APIs, Docker oder KI-Modellen sind empfehlenswert.

• Architektur & Entscheidungsgrundlagen
  • Use Cases, Datenklassen, Compliance-Treiber
  • Inferenz-Stack: Runtime, Model-Format, Serving
  • GPU vs. CPU, VRAM-Budget, Throughput-Latenz
  • Make-or-buy: Cloud, Hybrid, On-Prem
• Hardware sizing ohne Rätselraten
  • VRAM-Kalkulation: Parameter, Quantisierung, KV-Cache
  • Batching, Kontextlänge, Parallelität
  • Storage, RAM, PCIe, Netzwerk, Kühlung
  • Messgrößen: Tokens/s, P95-Latenz, Auslastung
• Modelle & Formate für Self-Hosting
  • GGUF, safetensors, Container-Images
  • Quantisierung (z.B. 4-bit/8-bit) und Qualitätschecks
  • Prompt-Templates, System Prompts, Tool-Use
  • Modellwahl nach Sprache, Kontext, Lizenz
• Serving & Deployment
  • vLLM, llama.cpp, Text Generation Inference (TGI)
  • Docker/Compose und Kubernetes-Grundmuster
  • Rolling Updates, Canary, Versionierung
  • API-Design: OpenAI-kompatible Endpoints
• Sicherheit, Zugriff & Datenkontrolle
  • Netzwerksegmentierung, Zero-Trust-Bausteine
  • AuthN/AuthZ, Secrets, TLS, Audit Logs
  • Prompt Injection: Risiken und Gegenmaßnahmen
  • Data Residency, Protokollierung, Aufbewahrung
• Beobachtbarkeit & Betrieb
  • Monitoring: GPU/CPU, VRAM, Queue, Errors
  • Tracing für Latenz und Bottlenecks
  • Kapazitätsplanung und Kosten pro 1.000 Tokens
  • Runbooks: Incident, Rollback, Notfallplan
• RAG als produktionsnahes Add-on
  • Chunking, Embeddings, Vektordatenbank-Optionen
  • Retrieval-Qualität messen (Recall, Faithfulness)
  • Guardrails: Quellenpflicht, Zitieren, Policies
  • Offline-Indexing und Update-Strategien