KKC_0111 | Data Engineering: KI-Pipelines im Einsatz

KI-Systeme scheitern selten am Modell, sondern an Datenflüssen, die nicht stabil genug sind, um Training und Inferenz dauerhaft zu versorgen. In diesem Aufbau-Seminar bauen Sie eine belastbare Architektur für KI-Datenpipelines auf und lernen, welche Entscheidungen bei Lakehouse, Data Warehouse und Feature Store wirklich zählen. Sie arbeiten mit einem Schichtenmodell von Raw über Clean und Curated bis zur Serving-Schicht und leiten daraus klare Schnittstellen für Modelltraining und produktive Inferenz ab.

Ein Schwerpunkt liegt auf Ingestion und Datenverträgen: Sie planen Quellenanbindungen, definieren Schema-Regeln, gehen mit Schema Evolution um und setzen Contract Testing so ein, dass Änderungen nicht unbemerkt nachgelagerte Jobs brechen. Sie entwickeln Strategien für Idempotenz, Reprocessing und Backfills, damit Sie Datenfehler korrigieren können, ohne die Pipeline zu destabilisieren. Darauf aufbauend etablieren Sie Transformationen mit inkrementellen Mustern, ergänzt Data-Quality-Checks und nutzen Lineage, um Auswirkungen von Änderungen sichtbar zu machen.

Für den Betrieb lernen Sie DAG-Design, SLAs, Retries und Observability mit Logs, Metriken und Traces. Abschließend behandeln Sie Feature Engineering als Produkt: Offline/Online-Konsistenz, Point-in-time Correctness, Versionierung und Serving-Patterns. So entsteht eine Pipeline, die reproduzierbar, auditierbar und kostenseitig steuerbar bleibt.

• Sie entwerfen Architekturentscheidungen für KI-Datenpipelines, Lakehouse und Feature Store.
• Sie planen Datenflüsse von Raw über Clean und Curated bis zur Serving-Schicht.
• Sie definieren Datenverträge, Schema-Regeln und Contract Tests.
• Sie entwickeln Strategien für Idempotenz, Reprocessing und Backfills.
• Sie setzen inkrementelle Transformationen und Data-Quality-Checks ein.
• Sie schaffen stabile Schnittstellen für Modelltraining und produktive Inferenz.
• Sie bewerten Betriebsanforderungen an Monitoring, Fehlerbehandlung und Skalierung.

Das Seminar richtet sich an Data Engineers, Data Scientists, Datenarchitekt/innen, BI-Teams, MLOps-Verantwortliche und IT-Fachkräfte, die belastbare Datenpipelines für KI-Anwendungen entwickeln oder betreiben möchten.

• Grundverständnis von Datenpipelines (z. B. ETL/ELT, Batch oder Streaming).
• Basiswissen zu SQL und Datenmodellierung ist hilfreich.

• Architektur für KI-Datenpipelines
  • Batch vs. Streaming und typische KI-Workloads
  • Lakehouse, Data Warehouse, Feature Store: Abgrenzung
  • Schichtenmodell: Raw, Clean, Curated, Serving
  • Schnittstellen zu Training und Inferenz
• Ingestion und Datenverträge
  • Quellen anbinden: APIs, Events, Dateien, Datenbanken
  • Schema Evolution und Contract Testing
  • Idempotenz, Reprocessing, Backfills
  • PII-Handling und Zugriffskonzepte
• Transformationen, Qualität und Lineage
  • ELT/ETL-Patterns und inkrementelle Modelle
  • Data Quality Checks und Anomalie-Erkennung
  • Lineage und Impact Analysis für Änderungen
  • Dokumentation und Datenkatalog-Grundlagen
• Orchestrierung und zuverlässiger Betrieb
  • DAG-Design, Abhängigkeiten, SLAs und Retries
  • Scheduling, Event-driven Trigger, Sensoren
  • Observability: Logs, Metriken, Traces
  • Runbooks und Incident-Playbooks
• Feature Engineering als Produkt
  • Offline/Online Features und Konsistenz
  • Point-in-time Correctness und Leakage vermeiden
  • Feature Versioning und Wiederverwendbarkeit
  • Serving Patterns für Low Latency
• Governance, Sicherheit und Kosten
  • Rollen, Policies, Secrets und Audit Trails
  • Retention, Löschkonzepte und Datenminimierung
  • Kostenhebel: Storage, Compute, Egress
  • FinOps-Prinzipien für Datenplattformen
• Produktionsreife KI-Datenflüsse
  • Drift-Signale: Daten, Features, Labels
  • Monitoring für Datenqualität und Freshness
  • Reproduzierbarkeit: Snapshots und Time Travel
  • Übergabe an MLOps: Artefakte und Schnittstellen