AI Platform Engineer / MLOps Engineer (w/m/d)

Unser Kunde ist einer der weltweit führenden Anbieter von IT-Beratung, digitaler Transformation und Technologiedienstleistungen. Das Unternehmen ist der größte Consulting-Anbieter europäischen Ursprungs, mit 300.000+ Beschäftigten in über 40 Ländern.

Deutschlandweite Standorte möglich

Für unseren Kunden suchen wir einen AI Platform Engineer / MLOps Engineer (w/m/d), der den Aufbau und die Weiterentwicklung lokaler AI-/LLM-Plattformen verantwortet. Du arbeitest an hochmodernen, sicheren AI-Infrastrukturen (On-Prem oder Private Cloud), implementierst Open-Source-LLMs und sorgst für einen stabilen, sicheren und performanten Betrieb.

Die Rolle bietet einen hohen Gestaltungsspielraum und richtet sich an technikaffine Expert:innen, die an der Schnittstelle zwischen Machine Learning Engineering, Infrastruktur und Betrieb arbeiten möchten.

Deine Aufgaben

• Aufbau und Weiterentwicklung lokaler AI-/LLM-Plattformen (On-Prem oder Private Cloud)
• Deployment, Fine‑Tuning und Optimierung von Open‑Source-LLMs (z. B. Llama, Mistral, Qwen)
• Planung, Konzeption und Aufbau der erforderlichen Infrastruktur für LLM‑Workloads
• Design und Integration eines skalierbaren Betriebsmodells inkl. Prozesse & Schnittstellen
• Aufbau sicherer Data‑Pipelines für Trainings‑, Test‑ und Evaluationsdaten
• Implementierung von Vector Databases und Retrieval‑Augmented Generation (RAG)
• Enge Zusammenarbeit mit Software‑ und Infrastrukturteams zur Integration von LLM‑Funktionen in bestehende Produkte
• Evaluierung neuer Modelle, Frameworks und Libraries (z. B. Transformers, vLLM, Ray, LangChain)
• Sicherstellung von Compliance, Security, Datenschutz sowie SP2‑Konformität
• Unterstützung bei Architektur‑ und Technologieentscheidungen im AI/ML‑Umfeld

Was Du mitbringst

• Mindestens 2 Jahre relevante Berufserfahrung im Bereich Machine Learning Engineering, MLOps oder AI Platform Engineering
• Sehr gute Kenntnisse in Python und gängigen ML/AI‑Frameworks (z. B. PyTorch, Hugging Face, Transformers)
• Erfahrung im Deployment von LLMs (z. B. vLLM, Ollama, TGI, Text Generation WebUI oder ähnlichen Inference‑Stacks)
• Tiefes Verständnis moderner Retrieval‑Architekturen (RAG), Embedding‑Modelle und Vector Databases (z. B. FAISS, Milvus, Weaviate, Pinecone)
• Solide Kenntnisse von Cloud‑ oder On‑Prem‑Umgebungen (Azure, AWS, GCP oder OpenStack) inkl. notwendiger Hardware
• Verständnis für IT‑Security, Zero‑Trust‑Prinzipien sowie SÜ2‑Fähigkeit
• Erfahrung im Umgang mit APIs, Microservices und Integrationen in bestehende Plattformen
• Fähigkeit, komplexe technische Themen für Fachbereiche klar und verständlich zu kommunizieren
• Mindestens C1 Deutsch und B2 Englisch
• Nice to have: Erfahrung mit Model Evaluation, Prompt Engineering, Fine‑Tuning oder Quantisierung (z. B. GGUF/INT4/INT8)

Was Dich erwartet

• Spannende und vielseitige Projekte
• Flexibilität in Arbeitszeitgestaltung und Homeoffice
• Individuelle Weiterentwicklungsmöglichkeiten durch pragmatische Laufbahnmodelle und organisierten Wissenstransfer
• Großzügige Zusatzleistungen inkl. Firmenwagen
• Tolle Arbeitsatmosphäre mit Eigenverantwortung, Gestaltungsfreiraum und wertschätzendem Miteinander auf Augenhöhe

Interesse?

Dann bewirb dich gleich hier online und wir melden uns in Kürze bei Dir. Bei Fragen hilft dir Nora gerne weiter. Kontaktiere sie einfach unter Wir freuen uns auf dich!