KKC_0229 | Open-Source-LLMs lokal betreiben: Grundkurs

Lokale Open-Source-LLMs sind attraktiv, wenn Sie Datenhoheit brauchen, Kosten planbar halten möchten oder unabhängig von Cloud-Anbietern arbeiten möchten. In diesem Seminar lernen Sie die Grundlagen, die Sie für einen stabilen Einstieg brauchen: Wie Transformer-Modelle mit Tokens und Kontextfenstern arbeiten, warum Inferenz etwas anderes ist als Training und welche Rolle Quantisierung für Geschwindigkeit und Speicherbedarf spielt. Sie richten eine lokale Laufzeit ein und vergleichen typische Setups, inklusive CPU- und GPU-Betrieb.

Dabei geht es nicht um „irgendwie läuft es“, sondern um nachvollziehbare Entscheidungen: Welche Modellgröße passt zu Ihr Hardware, welche Parameter beeinflussen Qualität und Latenz und wie erkennen Sie typische Fehlerbilder. Ein Schwerpunkt liegt auf Prompting, das sich im Team wiederholen lässt. Sie lernen, System-, Entwickler- und Nutzer-Prompts sauber zu trennen, strukturierte Ausgaben wie JSON zu erzwingen und mit Gegenmaßnahmen auf Halluzinationen, Prompt Injection und übertriebene Sicherheit des Modells zu reagieren.

Danach bauen Sie eine lokale RAG-Pipeline auf: Dokumente sinnvoll aufteilen, Embeddings erstellen, Retrieval konfigurieren und Ergebnisse so aufbereiten, dass Quellen und Zitate möglich werden. Abschließend etablieren Sie einfache, aber wirksame Evaluations- und Betriebsroutinen wie Prompt-Regression, Logging und Versionierung. So können Sie lokale LLMs verantwortungsvoll einsetzen und weißt, welche nächsten Schritte sich lohnen.

• Grundlagen von Tokens, Kontextfenstern, Inferenz und Training verstehen
• Lokale Laufzeiten mit CPU- und GPU-Betrieb vergleichen
• Modellgröße, Hardware, Parameter, Qualität und Latenz realistisch bewerten
• System-, Entwickler- und Nutzer-Prompts sauber trennen
• Strukturierte Ausgaben, Halluzinationsschutz und Prompt-Injection-Gegenmaßnahmen nutzen
• Lokale RAG-Pipelines mit Chunking, Embeddings, Retrieval und Quellen aufbauen
• Prompt-Regression, Logging, Versionierung und einfache Betriebsroutinen etablieren

Das Seminar richtet sich an IT-Teams, Entwickler/innen, Data-Teams, technische Entscheider/innen und Organisationen, die LLMs lokal betreiben möchten.

Vorausgesetzt werden grundlegende IT-Kenntnisse. Erfahrungen mit Linux, APIs, Python oder KI-Tools sind hilfreich.

• LLM-Grundlagen für Open-Source-Stacks
  • Transformer, Token, Kontextfenster, Sampling verständlich einordnen
  • Inferenz vs. Training, Quantisierung und ihre Grenzen
  • Modellformate und Laufzeit-Ökosystem: GGUF, safetensors
• Lokale Laufzeit einrichten und vergleichen
  • llama.cpp und Ollama: Installation, Modelle, Updates
  • CPU vs. GPU: VRAM, RAM, Durchsatz, Latenz
  • Basis-Tuning: Kontext, Temperatur, Top-p, Wiederholungsstrafen
• Prompting, das reproduzierbar funktioniert
  • System-, Entwickler- und Nutzer-Prompts sauber trennen
  • Strukturierte Ausgaben: JSON, Tabellen, feste Schemas
  • Fehlerbilder: Halluzinationen, Prompt Injection, Overconfidence
• RAG lokal: Wissen anbinden statt raten
  • Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline
  • Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown)
  • Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget
• Evaluation und Betrieb
  • Qualitätskriterien: Faktentreue, Konsistenz, Stil, Sicherheit
  • Testsets, Prompt-Regression, einfache Benchmarks
  • Logging, Datenschutz, Modell- und Prompt-Versionierung
• Use-Cases, Grenzen, nächste Schritte
  • Assistenz für Schreiben, Analyse, Code-Reviews, Support-Entwürfe
  • Wann Cloud-Modelle sinnvoller sind, wann lokal gewinnt
  • Roadmap: Tools, Fine-Tuning-Optionen, Governance