KKC_0221 | DeepSeek: Einsatz und Self-Hosting

Dieses Seminar führt Sie praxisnah in den Einsatz und das Self-Hosting von DeepSeek 3.2 ein. Sie starten mit einer klaren Einordnung: Welche Modellvarianten sind wofür geeignet, wo liegen typische Grenzen und wie gehen Sie mit Qualitätsrisiken wie Halluzinationen oder ungewollten Offenlegungen um. Danach planen Sie ein realistisches Betriebsmodell für Ihre Umgebung.

Sie lernen, wann On-Premises, Private Cloud oder Hybrid sinnvoll sind, wie Sie GPU-, CPU- und RAM-Bedarf abschätzen und welche Auswirkungen Storage und Netzwerk auf Latenz und Durchsatz haben. Im technischen Teil setzen Sie einen Inferenz-Stack auf, bringen das Modell in eine versionierbare Bereitstellung und stellen einen stabilen API-Zugriff bereit. Sie konfigurieren zentrale Parameter wie Kontextlänge und Sampling so, dass Qualität und Performance im Gleichgewicht bleiben, und ergänzen sinnvolle Schutzmechanismen wie Rate Limits.

Ein weiteres Kernstück ist Sicherheit und Governance: Sie definieren Rollen, Zugriffspfade und Logging so, dass Audits möglich sind, ohne unnötig sensible Inhalte zu speichern. Abschließend bauen Sie die Grundlagen einer RAG-Pipeline auf, um Unternehmensdokumente kontrolliert nutzbar zu machen, inklusive Chunking, Embeddings, Retriever-Strategien und Qualitätsmessung mit Tests und Feedback. Damit sind Sie in der Lage, DeepSeek 3.2 verlässlich zu betreiben und produktiv in Prozesse zu integrieren.

• Sie ordnen DeepSeek-Modellvarianten, Einsatzfelder und Grenzen ein.
• Sie planen Betriebsmodelle für On-Premises, Private Cloud oder Hybrid-Szenarien.
• Sie schätzen GPU-, CPU-, RAM-, Storage- und Netzwerkanforderungen ein.
• Sie setzen einen Inferenz-Stack mit versionierbarer Bereitstellung auf.
• Sie konfigurieren Kontextlänge, Sampling, Performance und API-Zugriff.
• Sie berücksichtigen Rollen, Zugriffspfade, Rate Limits und Governance-Anforderungen.
• Sie bewerten Qualitätsrisiken wie Halluzinationen und ungewollte Offenlegung.

Das Seminar richtet sich an IT-Administrator/innen, KI-Verantwortliche, DevOps-Teams, Cloud- und Infrastrukturteams sowie technische Entscheider/innen, die DeepSeek kontrolliert betreiben oder Self-Hosting-Szenarien bewerten möchten.

• Grundverständnis von Linux, Netzwerk und Container- oder VM-Betrieb
• Erste Berührung mit APIs oder Webservices ist hilfreich

• DeepSeek 3.2 verstehen und einordnen
  • Modelle, Varianten, Stärken und Grenzen
  • Typische Use Cases: Assistenz, Recherche, Code, RAG
  • Qualität, Halluzinationen, Sicherheitsrisiken
• Self-Hosting Architektur und Betriebsmodelle
  • On-Premises, Private Cloud, Hybrid: Entscheidungskriterien
  • GPU, CPU, RAM, Storage: realistische Dimensionierung
  • Container- und VM-Ansätze, Netzwerk und Zugriff
• Deployment: Inferenz-Stack aufsetzen
  • Runtime, Model-Serving und API-Zugriff
  • Modell-Download, Versionierung, Rollback-Strategien
  • Basis-Tuning: Kontextlänge, Sampling, Rate Limits
• Sicherheit, Datenschutz und Governance
  • Authentifizierung, Autorisierung, Mandantenfähigkeit
  • Prompt- und Data-Leakage vermeiden, Logging-Strategie
  • Richtlinien für Nutzung, Freigaben und Audit
• RAG-Grundlagen für Unternehmenswissen
  • Dokumente ingestieren, Chunking, Embeddings
  • Retriever, Top-k, Re-Ranking und Quellenangaben
  • Qualität messen: Tests, Goldensets, Feedback-Loops
• Betrieb, Monitoring und Kostenkontrolle
  • Performance-Kennzahlen: Latenz, Durchsatz, Auslastung
  • Kapazitätsplanung, Quotas, Caching
  • Fehlerbilder: OOM, Timeouts, Drift, Modellwechsel