KKC_0224 | GLM-5.1: Open Source LLM produktiv nutzen

GLM-5 ist als Open Source LLM besonders spannend, wenn Sie Kontrolle über Daten, Betrieb und Kosten behalten möchten. In diesem Seminar lernen Sie, GLM-5 realistisch einzuordnen: Welche Aufgaben passen gut, wo liegen typische Grenzen und welche Lizenz- und Distributionsfragen sollten Sie vor dem ersten Proof of Concept klären. Danach gehen Sie in den praktischen Einsatz: Sie planen ein Setup für lokale Umgebung, On-Premises oder Private Cloud und verstehen die wichtigsten Stellhebel für Latenz, Durchsatz und Hardwarebedarf. Dabei sprechen wir konkret über CPU- und GPU-Inference sowie über Quantisierung, damit Sie Speicher- und Budgetentscheidungen fundiert treffen können.

Ein Schwerpunkt liegt auf verlässlichen Ergebnissen: Sie entwickeln Systemprompts und Prompts, die reproduzierbar sind, und lernen, strukturierte Ausgaben wie JSON zu erzwingen, damit GLM-5 in automatisierten Workflows nutzbar wird. Anschließend bauen Sie die Grundlagen für RAG mit eigenen Dokumenten auf, inklusive Chunking, Metadaten und einer sauberen Dokument-Pipeline. Sie lernen, wie Sie Retrieval-Qualität und Antwortqualität messen, Testsets aufbauen und Regressionen erkennen. Abschließend behandeln Sie Sicherheit und Compliance: Prompt Injection, Data Leakage, Logging, Monitoring und Audit-Trails.

So können Sie GLM-5 verantwortungsvoll betreiben und in Prozesse integrieren.

• Sie ordnen GLM-5.1 realistisch hinsichtlich Aufgaben, Grenzen, Lizenzfragen und Betrieb ein.
• Sie planen Setups für lokale Umgebungen, On-Premises oder Private Cloud.
• Sie bewerten Latenz, Durchsatz, Hardwarebedarf, CPU- und GPU-Inference sowie Quantisierung.
• Sie entwickeln reproduzierbare Systemprompts und Prompts für strukturierte Ausgaben wie JSON.
• Sie bauen Grundlagen für RAG mit eigenen Dokumenten, Chunking, Metadaten und Dokument-Pipeline auf.
• Sie messen Retrieval- und Antwortqualität mit Testsets und erkennen Regressionen.
• Sie berücksichtigen Prompt Injection, Data Leakage, Logging, Monitoring und Audit-Trails.

Das Seminar richtet sich an IT-Architektinnen und IT-Architekten, Entwickler/innen, Data- und KI-Teams, Administrator/innen sowie Entscheider/innen, die Open-Source-LLMs kontrolliert betreiben und in interne Prozesse integrieren möchten.

• Grundverständnis von APIs und Webservices sowie sicherer Umgang mit Kommandozeile-Konzepten.
• Grundkenntnisse zu LLMs sind hilfreich, aber nicht zwingend.

• GLM-5.1 verstehen und einordnen
  • Modellfamilie, Stärken, typische Grenzen
  • Open-Source-Ökosystem: Gewichte, Lizenzen, Distribution
  • Wann GLM-5 statt proprietärer APIs?
• Setup, Inference und Performance
  • Deployment-Optionen: lokal, On-Prem, Private Cloud
  • z.ai oder open router?
  • GLM 5.1 selber hosten im Fokus
  • GPU- und CPU-Inference, Throughput und Latenz
  • Quantisierung und Speicherbedarf praxisnah planen
• Prompting, Systemprompts und Output-Kontrolle
  • Instruktionsdesign für stabile Ergebnisse
  • Strukturierte Ausgaben: JSON, Tabellen, Regeln
  • Fehlerbilder: Halluzinationen, Overconfidence, Drift
• RAG mit eigenen Daten
  • Dokument-Pipeline: Chunking, Metadaten, Versionierung
  • Embeddings, Vektorsuche, Re-Ranking Grundlagen
  • Antwortqualität messen: Retrieval- und Answer-Metriken
• Evaluation, Sicherheit und Compliance
  • Testsets, Golden Answers, Regressionstests
  • Prompt Injection, Data Leakage, Policy-Checks
  • Logging, Monitoring, Audit-Trails, Datenschutz
• Integration in Prozesse und Produkte
  • API-Patterns: Chat, Tools/Functions, Batch
  • Guardrails, Rate-Limits, Kosten- und Kapazitätsplanung
  • Go-Live-Checkliste für den Betrieb