KKC_0235 | Open-Source LLM Fine-Tuning für Entwickler

Sie möchten ein Open-Source LLM so anpassen, dass es in Ihr Produkt nicht nur „irgendwie“ funktioniert, sondern reproduzierbar, messbar und betreibbar liefert. In diesem Seminar arbeiten Sie Sie durch den kompletten Fine-Tuning-Lifecycle: Sie starten mit der Frage, ob Fine-Tuning überhaupt die richtige Maßnahme ist oder ob Prompting, RAG oder Tool-Use schon reichen. Danach lernen Sie, wie Sie ein Base Model auswählen, Lizenz- und Compliance-Risiken bewerten und die nötigen Ressourcen realistisch kalkulieren, inklusive VRAM, Trainingsdauer und Inferenzkosten.

Der Kern ist SFT mit PEFT: Sie setzen LoRA/QLoRA gezielt ein, treffen Entscheidungen zu Rank, Target Modules, Sequence Length und Packing und verstehen, wie Loss Masking und Datenformate die Qualität beeinflussen. Anschließend gehen Sie über reine Supervision hinaus und bauen Preference-Daten auf, um DPO sinnvoll einzusetzen, ohne Ihr Modell auf Stil oder einzelne Präferenzen zu überfitten. Ein Schwerpunkt liegt auf Evaluation: Sie erstellen Golden Sets, bauen Regression Tests und nutzen LLM-as-a-Judge kontrolliert, inklusive Gegenchecks gegen Bias.

Zum Abschluss bringen Sie Ihr Modell in den Betrieb: Adapter-Merge, Quantisierung, Serving mit vLLM oder TGI, Monitoring und Sicherheitsmaßnahmen gegen Prompt Injection und Datenabfluss.

• Entscheiden, wann Fine-Tuning gegenüber Prompting, RAG oder Tool-Use sinnvoll ist
• Base Models auswählen sowie Lizenz-, Compliance- und Ressourcenfragen bewerten
• SFT mit PEFT, LoRA und QLoRA technisch einordnen und anwenden
• Rank, Target Modules, Sequence Length, Packing und Loss Masking verstehen
• Preference-Daten und DPO ohne Überanpassung sinnvoll einsetzen
• Golden Sets, Regression Tests und LLM-as-a-Judge kontrolliert nutzen
• Adapter-Merge, Quantisierung, Serving, Monitoring und Sicherheit für den Betrieb planen

Das Seminar richtet sich an Entwickler/innen, KI-Engineer/innen, Data Scientists, ML-Teams und technische Produktteams, die Open-Source-LLMs anpassen möchten.

Vorausgesetzt werden Programmierkenntnisse und Grundlagen zu Machine Learning oder LLMs. Python-, API- und Linux-Erfahrung sind empfehlenswert.

• Modell- und Trainingsstrategie festlegen
  • Use-Case-Scoping: Chat, RAG, Tool-Use, Klassifikation
  • Base Model Auswahl: Llama, Mistral, Qwen und Lizenzfallen
  • Compute-Kalkulation: VRAM, Throughput, Kosten, Zeit
  • PEFT vs. Full Fine-Tuning: wann sich was lohnt
• Daten, die wirklich wirken
  • Instruction-Datasets: Struktur, Prompt-Formate, Systemregeln
  • Qualitätssicherung: Dedup, Leakage, Toxicity, PII
  • Labeling-Workflows: Guidelines, Inter-Annotator-Checks
  • Data Mixing: Domain, General, Safety, Hard Negatives
• Supervised Fine-Tuning (SFT) mit PEFT
  • LoRA/QLoRA: Rank, Alpha, Target Modules
  • Tokenisierung, Packing, Sequence Length, Loss Masking
  • Training mit Hugging Face Transformers + TRL
  • Stabilität: LR-Schedules, Grad-Accumulation, Checkpoints
• Preference Tuning: DPO statt Bauchgefühl
  • Pairwise Preferences: Datenschema und Sampling
  • DPO-Grundidee, Beta, Overfitting auf Präferenzen
  • Alternativen: ORPO, IPO, Best-of-N Sampling
  • Guardrails: Ablehnungen, Policy-Style, Safety-Prompts
• Evaluation, die dich vor Überraschungen schützt
  • Offline-Eval: Task-Suites, Regression Tests, Golden Sets
  • LLM-as-a-Judge: Bias, Kalibrierung, Gegenchecks
  • Halluzinationsmessung in RAG-Setups
  • Monitoring-Metriken: Drift, Cost per Answer, Latency
• Deployment & Betrieb
  • Export: Adapter-Merge, Quantisierung (GPTQ/AWQ)
  • Serving: vLLM/TGI, Batching, KV-Cache, Streaming
  • Security: Prompt Injection, Data Exfiltration, Secrets
  • Release-Prozess: Modellkarten, Versionierung, Rollback