KKC_0208 | Green AI: KI nachhaltig planen, bauen, betreiben

Green AI ist kein Idealismus, sondern ein handfestes Steuerungsthema: KI-Workloads können Kosten und Energiebedarf sprunghaft erhöhen, wenn Use Cases, Daten und Architektur nicht sauber entschieden werden. In diesem Seminar lernen Sie, wie Sie Nachhaltigkeit in KI-Projekte integrieren, ohne die Produktqualität zu opfern. Sie starten mit Messbarkeit: Welche Kennzahlen wirklich helfen (kWh, CO2e, PUE, GPU-Auslastung, Token- und Request-Kosten) und wie Sie sie über Cloud-Metering, Telemetrie und Logging in Modell und Pipeline verfügbar machen.

Darauf aufbauend entwickeln Sie eine Strategie, die in der Praxis funktioniert: Use-Case-Scoring nach Nutzen, Risiko, Energieprofil und Datenreife, sowie klare Make-or-Buy-Entscheidungen zwischen Foundation Model, Fine-Tuning, RAG oder klassischem ML. Ein Schwerpunkt liegt auf effizienten Architekturen: RAG als Alternative zu häufigem Retraining, sinnvolles Chunking, Caching und Versionierung von Embeddings. Sie lernen, wie kleinere Modelle, Distillation, Quantization und LoRA den Footprint senken können und welche Inference-Hebel wie Batching, Kontext-Reduktion und Rate Limits sofort wirken.

Abgerundet wird das Seminar durch Cloud- und Beschaffungsentscheidungen (Regionenwahl, Strommix, Hardware-Generationen) sowie durch Governance, Reporting und Audit-Trails. Am Ende können Sie Green-KPIs definieren, ein Management-taugliches Reporting aufsetzen und eine Roadmap erstellen, die Teams, Produkt und Einkauf gemeinsam tragen.

• Sie messen relevante Green-AI-Kennzahlen wie kWh, CO2e, PUE, GPU-Auslastung, Token- und Request-Kosten.
• Sie integrieren Telemetrie, Cloud-Metering und Logging in Modell- und Pipeline-Bewertungen.
• Sie priorisieren Use Cases nach Nutzen, Risiko, Energieprofil und Datenreife.
• Sie treffen Make-or-Buy-Entscheidungen zwischen Foundation Model, Fine-Tuning, RAG und klassischem ML.
• Sie nutzen effiziente Architekturen, Caching, Chunking, Embeddings und Versionierung.
• Sie bewerten kleinere Modelle, Distillation, Quantization, LoRA, Batching und Kontext-Reduktion.
• Sie erstellen Governance, Reporting, Audit-Trails und eine Roadmap für nachhaltige KI.

Das Seminar richtet sich an KI-Verantwortliche, IT-Architektinnen und IT-Architekten, Nachhaltigkeitsverantwortliche, Cloud-Teams, Produktverantwortliche und Entscheider/innen, die KI-Projekte effizient, kostenbewusst und nachhaltig steuern möchten.

• Grundverständnis von KI-Use-Cases und typischen Cloud- oder IT-Betriebsmodellen.
• Hilfreich sind Erfahrungen mit Metriken, Monitoring oder Kostenstellenlogik, aber nicht zwingend.

• Green AI Grundlagen und Messbarkeit
  • Warum KI-Workloads so viel Energie ziehen: Training, Inferenz, Datenpipelines
  • Wichtige Kennzahlen: kWh, CO2e, PUE, WUE, GPU-Auslastung, Token- und Request-Kosten
  • Mess-Setup: Cloud-Metering, On-Prem-Telemetrie, Modell- und Pipeline-Logging
• Strategie: Von Use Case bis Betriebsmodell
  • Use-Case-Scoring: Nutzen, Risiko, Energieprofil, Datenreife
  • Make-or-Buy: Foundation Model, Fine-Tuning, RAG, klassisches ML
  • Governance: Policies, Freigaben, Budgets, Green-KPIs in OKRs
• Effiziente Modell- und Systemarchitektur
  • RAG statt Retraining: Retrieval-Design, Chunking, Caching, Vektordatenbanken
  • Modellwahl: kleinere Modelle, Distillation, Quantization, LoRA und Adapter
  • Inference-Optimierung: Batching, Streaming, Rate Limits, Prompt- und Kontext-Reduktion
• Daten: Weniger, besser, sauberer
  • Datenerhebung und -speicherung: Datenminimierung, Retention, Tiering
  • Feature- und Embedding-Strategien: Reuse, Versionierung, Drift-Checks
  • Qualität statt Masse: Labeling-Strategien, Sampling, Synthetic Data mit Leitplanken
• Cloud, Rechenzentrum und Beschaffung
  • Regionenwahl und Carbon-Awareness: Timing, Standort, Strommix
  • Hardware-Entscheidungen: GPU-Generationen, CPU vs GPU, Speicherausbau
  • FinOps und GreenOps verzahnen: Budgets, Tagging, Chargeback
• Compliance, Reporting und Kommunikation
  • Nachweisfähigkeit: Audit-Trails, Modellkarten, Datenkarten, Dokumentation
  • Reporting für Management: CO2e pro Use Case, pro Request, pro Monat
  • Change und Enablement: Leitlinien für Teams, Produkt und Einkauf