KKC_0222 | Qwen und weitere Alibaba-Modelle: Was lohnt sich?

Sie möchten Qwen und andere Alibaba Open Source Modelle nicht nur „ausprobieren“, sondern so vergleichen, dass daraus eine klare Entscheidung für Ihr Use Case entsteht. In diesem Seminar erarbeiten Sie Ihnen eine strukturierte Bewertungsmethodik: Welche Modellfamilie ist für Textgenerierung, Coding-Aufgaben oder multimodale Szenarien geeignet, welche Unterschiede sind in Praxis und Betrieb relevant, und welche Lizenzbedingungen beeinflussen den kommerziellen Einsatz. Sie lernen, Benchmarks wie MMLU, MT-Bench oder HumanEval richtig einzuordnen und bauen eigene Testsets auf, die Ihr Domäne abbilden.

Dabei definieren Sie Qualitätskriterien wie Faktentreue, Robustheit gegen Prompt-Varianten, Safety-Verhalten und Stiltreue. Im praktischen Teil setzen Sie Inference-Umgebungen auf Basis von vLLM, TGI oder Ollama auf und bewerten Latenz, Throughput und Kosten. Sie verstehen, wie Quantisierung (int8, int4) die Hardware-Anforderungen verändert und wann Qualitätsverluste messbar werden.

Anschließend implementieren Sie eine RAG-Pipeline mit sinnvollem Chunking, Embeddings und Re-Ranking, um Halluzinationen zu reduzieren. Sie messen Retrieval-Recall und Answer-Faithfulness und lernen, wie Sie Ergebnisse als Entscheidungsvorlage dokumentieren. Zum Abschluss behandeln Sie Security- und Compliance-Fragen wie Prompt Injection, Logging, Zugriffskontrollen und PII-Handling, damit Ihr Modellvergleich nicht im Audit scheitert.

• Qwen und Alibaba-Modellfamilien nach Use Case einordnen
• Benchmarks und eigene Testsets sinnvoll kombinieren
• Qualitätskriterien wie Faktentreue, Robustheit und Stiltreue definieren
• Inference-Umgebungen mit vLLM, TGI oder Ollama bewerten
• Quantisierung, Latenz, Throughput und Kosten vergleichen
• RAG-Pipelines mit Chunking, Embeddings und Re-Ranking planen
• Security, Logging, Zugriffskontrollen und PII-Handling berücksichtigen

Das Seminar richtet sich an KI-Verantwortliche, Entwickler/innen, Data-Teams, Architekt/innen und Entscheider/innen, die Qwen oder andere Open-Source-Modelle bewerten möchten.

Grundkenntnisse zu LLMs, APIs oder KI-Anwendungen sind empfehlenswert. Technische Erfahrung mit Modellbetrieb ist hilfreich.

• Modelllandschaft verstehen
  • Qwen 3.5: Einordnung und typische Einsatzfelder
  • Text, Code, Vision, Audio: Welche Modellfamilie wofür?
  • Vergleich zu anderen proprietären und Open Source Modellen
  • Lizenzmodelle und Nutzungsgrenzen (kommerziell, Redistribution)
• Benchmarking, das Entscheidungen trägt
  • Welche Benchmarks sinnvoll sind (MMLU, MT-Bench, HumanEval, RAG-Tests)
  • Eigene Testsets aufbauen: Prompts, Gold-Answers, Bewertung
  • Qualitätskriterien: Faktentreue, Robustheit, Safety, Stil
• Inference in der Praxis
  • vLLM, TGI, Ollama: Stärken, Grenzen, Betriebskonzepte
  • Quantisierung (int8, int4) und Auswirkungen auf Qualität
  • GPU-Planung: VRAM, Throughput, Latenz, Batch-Strategien
• RAG mit Qwen sauber umsetzen
  • Chunking, Embeddings, Re-Ranking und Prompt-Templates
  • Halluzinationen reduzieren: Retrieval-Strategien und Guardrails
  • Evaluation: Retrieval-Recall, Answer-Faithfulness, Kosten
• Fine-Tuning und Alignment
  • LoRA/QLoRA: Wann es reicht und wann nicht
  • Datensätze, Datenhygiene, Leakage und Rechte
  • Offline-Evaluation und Regressionstests nach Updates
• Security, Compliance und Risiko
  • Modellrisiken: Prompt Injection, Data Exfiltration, Jailbreaks
  • Governance: Logging, Zugriffskontrollen, PII-Handling
  • Entscheidungsvorlage: Risikoabwägung und Freigabeprozess