KKC_0327 | Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

LLM-Traces, Prompt-Versionen und Evaluation als belastbaren MLflow-Workflow aufbauen

Transparenz für LLM- und ML-Projekte im Betrieb

MLflow 3 Schulung: GenAI Observability für LLMs vermittelt praxisnah, wie Sie Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern. Viele LLM- und ML-Projekte verlieren beim Übergang vom Notebook in den Betrieb ihre Nachvollziehbarkeit.

MLflow 3 für Tracking, Experimente und GenAI Observability einzurichten sowie Runs mit Parametern, Metriken, Artefakten und Datasets zu dokumentieren, stehen dabei im Mittelpunkt. Die Inhalte verbinden fachliche Einordnung, konkrete Umsetzung und die Anforderungen an Qualität, Sicherheit und Nachvollziehbarkeit.

Damit eignet sich das Angebot für Unternehmen, die neue KI-, Daten- oder Automatisierungslösungen nicht nur testen, sondern strukturiert in belastbare Arbeitsabläufe überführen möchten.

Angebotsziel
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

MLflow 3 für Tracking, Experimente und GenAI Observability einrichten
Runs mit Parametern, Metriken, Artefakten und Datasets dokumentieren
Prompt-Versionen und Evaluationsläufe nachvollziehbar vergleichen
Model Registry und Modellversionierung für Betriebsprozesse nutzen
Qualitäts- und Betriebssignale für LLM-Anwendungen erfassen
Nachvollziehbarkeit vom Notebook bis zum produktiven Einsatz verbessern

Zielgruppe
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

Das Angebot richtet sich an ML Engineers, Data Scientists, MLOps-Teams, AI Leads und Plattformverantwortliche, die LLM- und ML-Projekte reproduzierbar betreiben möchten.

Voraussetzungen
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

Grundkenntnisse in Machine Learning, Python oder MLOps werden empfohlen. Erfahrung mit Experimenttracking oder Modellbereitstellung ist hilfreich.

Inhalte
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

Plattform-Setup für MLflow 3

MLflow Tracking-Server und Repository-Struktur
Backend-Store und zentrale Artefaktablage
Experimentstruktur für Teamarbeit
Autologging und manuelles Logging

Experiment-Tracking und Reproduzierbarkeit

Run-Metadaten und Metriken
Dataset-Logging für Reproduzierbarkeit
Model Signatures und Input Examples
Vergleich von Experimentläufen

Model Registry und Deployment-Workflows

Modellversionen mit Aliassen
Freigaben über Tags und Aliasse
MLflow Models für Serving
Containerisierte Deployment-Pipelines

GenAI Observability mit Tracing

Trace-Spans für LLM-Aufrufe
RAG-Abläufe in Trace-Ansichten
Fehleranalyse bei Tool-Aufrufen
Kosten- und Latenzmetriken

Prompt Management mit MLflow

Prompt-Versionen in der Prompt Registry
Prompt-Vergleich über Experimente
Variantenfreigabe für Testumgebungen
Artefaktablage für Prompt-Sets

Evaluation und Betriebssignale

mlflow.evaluate für klassische Modelle
GenAI-Scorer für Antwortqualität
Baseline-Vergleich mit Referenzdaten
Betriebssignale aus Traces und Runs

Bildungspfad
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

Lernstufe 1

LLM Self-Hosting und Deployment
LiteLLM Schulung: AI-Gateway sicher betreiben
Llama-Modelle im Vergleich: Nutzen statt Hype
Kimi K2.5: OpenSource LLM sofort produktiv
Python Deep-Dive Kurs: Deep Learning, Neuronale Netze & Visualisierung
Python Machine Learning Grundkurs: Professioneller Einstieg
Large Language Model Grundkurs: Einsatz und Überblick
Python Einstieg mit Machine Learning: Grundkurs
Large Language Model Strategie: Alles für Entscheider
Open-Source-LLMs lokal betreiben: Grundkurs
Neo4j Graph-Datenbanken für KI
LLM-Evaluation: Evaluation. Praxis. Sicherheit
LangChain: RAG und Agents Intensiv-Training

Lernstufe 2

Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern
vLLM-Schulung: Open-Source-LLMs bereitstellen
KI-gestützte Datenbanksuche: Aufbaukurs
Open-Source LLM Fine-Tuning für Entwickler
Large Language Models Aufbaukurs: RAG, Anpassung und Training
Pytorch Grundkurs: Deep Learning mit MLP und CNN
Python mit Tensorflow: Grundkurs
Natural Language Processing Grundkurs: Plattformen und Frameworks im Überblick
Qdrant-Schulung: RAG und Hybrid Search im Betrieb

Lernstufe 3

LLM Security: Injections erkennen & abwehren
Large Language Models Advanced: Eigene LLMs und Tuning
Cursor IDE: Agentische Entwicklung Grundkurs

Ausbildungsnachweis
Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

Zertifikat der IAD GmbH

Sie erhalten ein Teilnahmezertifikat der IAD GmbH. Damit können Sie Ihr erworbenes Wissen dokumentieren.

NEU
im Angebot

Informationsverarbeitung und angewandte Datentechnik GmbH

KKC_0327 | Experimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

LLM-Traces, Prompt-Versionen und Evaluation als belastbaren MLflow-Workflow aufbauen

Transparenz für LLM- und ML-Projekte im Betrieb

AngebotszielExperimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

ZielgruppeExperimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

VoraussetzungenExperimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern

InhalteExperimente, Prompts, Modelle und GenAI-Qualität mit MLflow nachvollziehbar steuern