KKC_0210 | KI-Infrastrukturplanung: On-Premise vs. Cloud

KI-Projekte scheitern selten an der Modellidee, sondern an Infrastrukturentscheidungen, die zu spät oder aus dem Bauch heraus getroffen werden. In diesem Seminar entwickeln Sie einen belastbaren Plan, wie Sie Training, Fine-Tuning und Inference technisch und wirtschaftlich betreiben. Sie starten mit einem Entscheidungsrahmen, der Workload-Profile, Datenresidenz, Latenzanforderungen, Skalierungsbedarf und Betriebsmodell zusammenführt.

Darauf aufbauend vergleichen Sie On-Premise, Cloud und Hybrid-Ansätze und lernen, welche Annahmen Sie für eine realistische Planung dokumentieren müssen. Im technischen Teil planen Sie GPU-Compute und Performance: Welche GPU-Klassen und Speicherausbauten passen zu Ihr Modellen, wie wirken sich Netzwerk und Interconnects aus, und wie setzen Sie Cluster-Design so auf, dass es nicht an Storage oder Scheduling scheitert. Sie erhalten eine praxisnahe Einführung in Scheduling-Grundlagen mit Kubernetes und Slurm sowie in Benchmarking und Kapazitätsplanung.

Ein weiterer Schwerpunkt ist die Datenplattform: Data Lake, Feature Store und Vektordatenbank werden als Bausteine eingeordnet, dazu Storage-Optionen (Object, Block, File) und Strategien für Datenbewegung, Caching, Replikation und Versionierung. Abschließend setzen Sie Security, IAM, Logging und Governance in Beziehung zu DSGVO und Audit-Anforderungen. Mit FinOps-Methoden erstellen Sie eine TCO-Sicht und erkennen typische Kostentreiber wie Egress, Idle-GPUs und unpassende Reservierungsmodelle.

Sie gehen mit einer klaren Zielarchitektur und einer argumentationsstarken Entscheidungsgrundlage zurück in Ihr Projekt.

• Workload-Profile für Training, Fine-Tuning und Inferenz beschreiben
• Datenresidenz, Latenz, Skalierung und Betriebsmodell bewerten
• On-Premise-, Cloud- und Hybrid-Ansätze systematisch vergleichen
• GPU-Klassen, Speicher, Netzwerk und Interconnects dimensionieren
• Cluster, Storage und Scheduling belastbar planen
• Kubernetes und Slurm für KI-Workloads einordnen
• Kapazität, Benchmarks, Kosten und Betriebsrisiken dokumentieren

Das Seminar richtet sich an IT-Architekt/innen, Infrastrukturverantwortliche, Cloud-Architekt/innen, MLOps-Engineer/innen sowie Fach- und Führungskräfte aus IT-Betrieb und Rechenzentrum.

Grundkenntnisse in IT-Infrastruktur, Cloud Computing und Netzwerken werden vorausgesetzt. Erfahrungen mit Server-, Storage- oder Containerplattformen sind hilfreich.

• Entscheidungsrahmen für KI-Infrastruktur
  • Workload-Typen: Training, Fine-Tuning, Inference
  • Latenz, Datenresidenz, Skalierung als Treiber
  • Build vs. Buy: Reifegrad und Betriebsmodell
  • Hybrid- und Multi-Cloud sinnvoll abgrenzen
• GPU, Compute und Performance richtig planen
  • GPU-Klassen, Speicherausbau, Interconnects
  • Cluster-Design: Knoten, Storage, Netzwerk
  • Scheduling-Grundlagen: Kubernetes, Slurm
  • Benchmarking und Kapazitätsplanung
• Datenplattform, Storage und Datenbewegung
  • Data Lake, Feature Store, Vektordatenbank
  • Storage-Optionen: Object, Block, File
  • ETL/ELT, Datenversionierung, Lineage
  • Egress, Replikation, Caching-Strategien
• Sicherheit, Compliance und Governance
  • IAM, Secrets, Schlüsselmanagement
  • Mandantentrennung und Zero-Trust-Prinzipien
  • DSGVO, Auditierbarkeit, Logging
  • Modellrisiken: Prompt Injection, Datenabfluss
• MLOps und Betriebsfähigkeit
  • CI/CD für Modelle, Artefakte, Container
  • Observability: Kosten, Performance, Drift
  • Rollouts: Canary, Blue-Green, A/B
  • Incident- und Patch-Strategien
• Kosten, Verträge und FinOps für KI
  • TCO: CapEx/OpEx, Abschreibung, Personal
  • Cloud-Kostenhebel: Reserved, Spot, Autoscaling
  • Lizenzierung, Support-Modelle, SLAs
  • Make-or-Break: Egress, Storage, Idle-GPUs