DevOps Engineer (m/w/d) – KI-/LLM-Plattform (Öffentlicher Sektor)

Für den Aufbau einer großskaligen, hybriden KI-Plattform im öffentlichen Sektor wird ein erfahrener DevOps Engineer (Freelancer) gesucht. Die Plattform bildet die Basis für LLM‑basiertes Arbeiten , wird On‑Premise betrieben , perspektivisch in Richtung Cloud / Sovereign Cloud Deutschland erweitert und beinhaltet ein größeres GPU‑Cluster .

Der Schwerpunkt liegt auf DevOps‑Automatisierung, Plattformbetrieb und Infrastruktur‑as‑Code , alles rund um Kubernetes, Docker, Terraform sowie sichere Integrationsprozesse im Bereich ML/LLM .

Aufgaben

• Aufbau, Weiterentwicklung und Betrieb einer hybriden KI-/LLM‑Plattform im öffentlichen Sektor

• Implementierung und Pflege von CI/CD‑Pipelines (z. B. Bitbucket Pipelines)

• Automatisierung mittels Terraform , Docker , Kubernetes

• Einrichtung & Administration von Kubernetes‑ und GPU‑Clustern (on‑prem & perspektivisch cloud)

• Betrieb und Integration von LLM‑Workloads in eine skalierbare Plattformarchitektur

• Nutzung und Administration von Tools wie Rancher , Nexus , Docker

• Unterstützung beim Aufbau sicherer Deployment‑Prozesse nach öffentlichen Standards

• Zusammenarbeit mit ML/AI‑Teams für Deployment von Modellen und Pipelines

• Monitoring, Logging & Observability im Plattformbetrieb

• Mitarbeit in einem agilen Setup (Scrum), Teilnahme an Sprint Reviews vor Ort

Muss‑Anforderungen

• Sehr gute Erfahrung im DevOps‑Umfeld

• Fundiertes Know‑how in:

  • Kubernetes (Clusterbetrieb, Administrierung)

  • Docker (Container‑Building & Management)

  • Terraform (IaC)

  • CI/CD‑Pipelines (Bitbucket oder vergleichbar)

  • Rancher , Nexus

• Erfahrung in Machine Learning / LLM‑Umgebungen

• Kenntnisse im Aufbau größerer Plattformen / Infrastrukturprojekte

• Erfahrung im öffentlichen Sektor oder in hochregulierten Umgebungen

• Deutsch fließend in Wort und Schrift

Nice to Have

• Erfahrung mit Sovereign Cloud Deutschland / EU‑Cloud‑Anforderungen

• Kenntnisse in Python für Automatisierung / MLOps

• Arbeit mit GPU‑Clustern

• Sicherheitsanforderungen im Behördenumfeld

Rahmenbedingungen

• Startdatum: 01.12.

• Dauer: 6 Monate mit klarer Option auf Verlängerung

• Einsatzort: Remote, ~1× alle 3 Wochen vor Ort im süddeutschen Raum

• Projektsprache: Deutsch