KKC_0108 | Transfer Learning: Modelle schneller produktiv machen

Transfer Learning spart Zeit und Geld, aber nur, wenn Sie die richtigen Stellschrauben kennen und sauber evaluieren. In diesem Aufbaukurs gehen Sie über das „einfach mal fine-tunen“ hinaus und lernen, wie Sie vortrainierte Modelle gezielt für Ihr Domäne nutzbar machen. Sie vergleichen Feature Extraction und Fine-Tuning anhand klarer Entscheidungskriterien wie Datenmenge, Domänen-Shift, Latenzanforderungen und Wartbarkeit.

Danach setzen Sie Strategien wie Layer Freezing, Differential Learning Rates und Regularisierung ein, um stabil zu trainieren und Overfitting zu vermeiden. Ein zentraler Block ist die Datenarbeit: Sie lernen, wie Dataset Curation, Deduplizierung und ein sauberer Train/Validation/Test-Schnitt die Modellleistung oft stärker beeinflussen als zusätzliche Trainingsstunden. Sie arbeiten mit Fehlerkategorien, um Daten- und Modellprobleme systematisch zu trennen.

Anschließend vertiefen Sie Parameter-Efficient Fine-Tuning, zum Beispiel LoRA und Adapter, und beurteilen Trade-offs zwischen Speicherbedarf, Genauigkeit und Inferenzkosten. Damit Ergebnisse in der Praxis belastbar sind, bauen Sie eine Evaluierung mit passenden Metriken, Slice-Tests und Robustheitschecks. Sie planen Baselines und Ablations, damit Verbesserungen nachvollziehbar bleiben.

Zum Abschluss entwickeln Sie eine Deployment- und Betriebsstrategie: Serving-Optionen, Kosten pro Anfrage, Monitoring, Drift-Erkennung und reproduzierbare Experimente. So können Sie Transfer Learning nicht nur anwenden, sondern verantwortbar in Produkte überführen.

• Feature Extraction und Fine-Tuning anhand klarer Kriterien vergleichen
• Datenmenge, Domänen-Shift, Latenz und Wartbarkeit bewerten
• Layer Freezing, Differential Learning Rates und Regularisierung einsetzen
• Dataset Curation, Deduplizierung und saubere Splits planen
• Parameter-Efficient Fine-Tuning mit LoRA und Adaptern einordnen
• Metriken, Slice-Tests, Robustheitschecks, Baselines und Ablations nutzen
• Deployment, Serving, Kosten, Monitoring und Drift-Erkennung vorbereiten

Das Seminar richtet sich an Data Scientists, ML-Engineer/innen, Entwickler/innen und Produktteams, die vortrainierte Modelle produktiv einsetzen möchten.

Vorausgesetzt werden Grundlagen in Machine Learning und Modelltraining. Python- und Framework-Erfahrung ist hilfreich.

• Transfer-Learning-Strategien, die wirklich passen
  • Feature Extractor vs. Fine-Tuning: Entscheidungskriterien
  • Layer Freezing, Differential Learning Rates, Adapter
  • Domänen-Shift erkennen und begrenzen
  • Compute-, Zeit- und Qualitätsabschätzung
• Datenarbeit für effizientes Fine-Tuning
  • Dataset Curation: Filtern, Deduplizieren, Label-Qualität
  • Augmentation und Sampling gegen Klassenungleichgewicht
  • Train/Validation/Test richtig schneiden (Leakage vermeiden)
  • Data-Centric Debugging mit Fehlerkategorien
• Parameter-Efficient Fine-Tuning (PEFT)
  • LoRA und Adapter-Konzepte: wann sinnvoll, wann nicht
  • Quantization-aware Ansätze und Speicherplanung
  • Prompt Tuning und Prefix Tuning im Vergleich
  • Trade-offs: Latenz, Genauigkeit, Wartbarkeit
• Training, Monitoring und Reproduzierbarkeit
  • Hyperparameter, Early Stopping, Regularisierung
  • Experiment-Tracking und Model Registry
  • Determinismus, Seeds, Versionierung von Daten
  • Overfitting erkennen: Lernkurven richtig lesen
• Evaluierung, die Produktentscheidungen trägt
  • Passende Metriken: Accuracy, F1, AUC, Calibration
  • Robustheitstests: OOD, Stress- und Slice-Tests
  • Baseline-Design und Ablations, die Klarheit schaffen
  • Fehleranalyse: Confusion, Top-K, qualitative Reviews
• Deployment und Betrieb von transferierten Modellen
  • Export, Serving, Batch vs. Realtime
  • Latency-Budgets, Throughput, Kosten pro Anfrage
  • Drift-Monitoring und Retraining-Trigger
  • Governance: Dokumentation, Freigaben, Risiken