KKC_0218 | Kimi K2.5: OpenSource LLM sofort produktiv

Kimi K2.5 ist als OpenSource LLM besonders dann spannend, wenn Sie Kontrolle über Daten, Kosten und Betrieb behalten möchten. In diesem Grundlagen-Seminar lernen Sie, wie Sie das Modell fachlich einordnen und realistisch bewerten: Wo liefert es starke Ergebnisse, wo sind Grenzen zu erwarten und welche Konsequenzen hat die Lizenz- und Nutzungslogik im Unternehmenskontext. Danach gehen Sie in die Praxis der Bereitstellung.

Sie erhalten einen verständlichen Überblick über gängige Inference-Stacks wie vLLM, llama.cpp und Ollama und können einschätzen, wann CPU-Betrieb genügt und wann GPU-Ressourcen sinnvoll sind. Ein weiterer Schwerpunkt ist die Ergebnisqualität. Sie arbeiten mit Prompt-Strukturen, Parametern wie Temperatur und Top-p und lernen, wie Sie reproduzierbare Tests aufsetzt, ohne gleich ein komplettes ML-Evaluation-Programm zu starten.

Damit Kimi K2.5 mit Ihr Dokumenten arbeiten kann, bauen Sie ein RAG-Basiskonzept auf: Chunking, Metadaten, Retrieval und die Idee von Re-Ranking. Sie lernen außerdem, wie Sie Antworten belegbar machen und typische Risiken wie Halluzinationen und Prompt Injection reduzieren. Zum Abschluss klären Sie, wie Logging, Redaction und Policies aussehen sollten, damit aus einem Experiment ein betreibbarer Service wird, der sich sauber in Workflows integrieren lassen.

• Kimi K2.5 fachlich, lizenzrechtlich und betrieblich einordnen
• Stärken, Grenzen und geeignete Unternehmensanwendungen bewerten
• vLLM, llama.cpp und Ollama als Inference-Stacks vergleichen
• CPU- und GPU-Betrieb nach Leistung und Kosten auswählen
• Prompts, Temperatur und Top-p für reproduzierbare Ergebnisse steuern
• Einfache Testsets zur Qualitätsbewertung entwickeln
• Ein RAG-Basiskonzept mit Chunking, Metadaten und Retrieval aufbauen

Das Seminar richtet sich an KI-Entwickler/innen, IT-Architekt/innen, Administrator/innen, Data Scientists sowie technische Entscheider/innen, die Open-Source-LLMs einsetzen möchten.

Grundkenntnisse in KI-Sprachmodellen, Linux oder Anwendungsbereitstellung sind hilfreich. Für technische Übungen werden grundlegende Programmierkenntnisse empfohlen.

• Kimi K2.5 verstehen und einordnen
  • Modellfamilie, Stärken, typische Grenzen
  • Open-Weights vs. OpenSource: Lizenz- und Nutzungslogik
  • Wann Kimi K2.5 besser passt als API-Modelle
• Lokales Setup und Laufzeit-Optionen
  • Inference-Stacks: vLLM, llama.cpp, Ollama (Überblick)
  • CPU vs. GPU: Performance, Kosten, Speicherbedarf
  • Container- und VM-Deployment in der Praxis
• Prompting, Output-Qualität und Tests
  • Prompt-Strukturen für robuste Ergebnisse
  • Determinismus, Temperatur, Top-p, Seed
  • Evaluation light: Goldensets, Regression-Checks
• RAG mit eigenen Daten ohne Datenchaos
  • Chunking, Metadaten, Retrieval-Strategien
  • Embeddings, Vektordatenbank, Re-Ranking (Konzept)
  • Antworten belegbar machen: Quellen, Zitate, Guardrails
• Sicherheit, Datenschutz und Governance
  • Prompt Injection und Datenabfluss: typische Angriffe
  • Logging, Redaction, Secrets-Handling
  • Freigabeprozesse, Policies, Modellkarten im Unternehmen
• Integration in Prozesse und Tools
  • REST-API, Batch-Jobs, Automatisierung in Workflows
  • Rollen: Fachbereich, IT, Security, Legal
  • Von PoC zu Betrieb: Checkliste für die Übergabe