AI Platform Engineer / MLOps Engineer (w/m/d)

Unser Kunde ist einer der weltweit führenden Anbieter von IT-Beratung, digitaler Transformation und Technologiedienstleistungen. Das Unternehmen ist der größte Consulting-Anbieter europäischen Ursprungs, mit 300.000+ Beschäftigten in über 40 Ländern. Für die Business Cloud suchen wir bundesweit eine(n) AI Platform Engineer / MLOps Engineer (w/m/d). 📍Deutschlandweite Standorte möglich Für unseren Kunden suchen wir einen AI Platform Engineer / MLOps Engineer (w/m/d), der den Aufbau und die Weiterentwicklung lokaler AI-/LLM-Plattformen verantwortet. Du arbeitest an hochmodernen, sicheren AI-Infrastrukturen (On-Prem oder Private Cloud), implementierst Open-Source-LLMs und sorgst für einen stabilen, sicheren und performanten Betrieb. Die Rolle bietet einen hohen Gestaltungsspielraum und richtet sich an technikaffine Expert:innen, die an der Schnittstelle zwischen Machine Learning Engineering, Infrastruktur und Betrieb arbeiten möchten. Deine Aufgaben:Aufbau und Weiterentwicklung lokaler AI-/LLM-Plattformen (On-Prem oder Private Cloud)Deployment, Fine-Tuning und Optimierung von Open-Source-LLMs (z. B. Llama, Mistral, Qwen)Planung, Konzeption und Aufbau der erforderlichen Infrastruktur für LLM-WorkloadsDesign und Integration eines skalierbaren Betriebsmodells inkl. Prozesse & SchnittstellenAufbau sicherer Data-Pipelines für Trainings-, Test- und EvaluationsdatenImplementierung von Vector Databases und Retrieval-Augmented Generation (RAG)Enge Zusammenarbeit mit Software- und Infrastrukturteams zur Integration von LLM-Funktionen in bestehende ProdukteEvaluierung neuer Modelle, Frameworks und Libraries (z. B. Transformers, vLLM, Ray, LangChain)Sicherstellung von Compliance, Security, Datenschutz sowie SP2-KonformitätUnterstützung bei Architektur- und Technologieentscheidungen im AI-/ML-Umfeld Was Du mitbringst:Mindestens 2 Jahre relevante Berufserfahrung im Bereich Machine Learning Engineering, MLOps oder AI Platform EngineeringSehr gute Kenntnisse in Python und gängigen ML/AI-Frameworks (z. B. PyTorch, Hugging Face, Transformers)Erfahrung im Deployment von LLMs (z. B. vLLM, Ollama, TGI, Text Generation WebUI oder ähnlichen Inference-Stacks)Tiefes Verständnis moderner Retrieval-Architekturen (RAG), Embedding-Modelle und Vector Databases (z. B. FAISS, Milvus, Weaviate, PineconeSolide Kenntnisse von Cloud- oder On-Prem-Umgebungen (Azure, AWS, GCP oder OpenStack) inkl. notwendiger Hardware.Verständnis für IT-Security, Zero-Trust-Prinzipien sowie SÜ2-FähigkeitErfahrung im Umgang mit APIs, Microservices und Integrationen in bestehende PlattformenFähigkeit, komplexe technische Themen für Fachbereiche klar und verständlich zu kommunizierenMindestens C1 Deutsch und B2 EnglischNice to have: Erfahrung mit Model Evaluation, Prompt Engineering, Fine-Tuning oder Quantisierung (z. B. GGUF/INT4/INT8) Was Dich erwartet:Spannende und vielseitige ProjekteFlexibilität in Arbeitszeitgestaltung und HomeofficeIndividuelle Weiterentwicklungsmöglichkeiten durch pragmatische Laufbahnmodelle und organisierten WissenstransferGroßzügige Zusatzleistungen inkl. FirmenwagenTolle Arbeitsatmosphäre mit Eigenverantwortung, Gestaltungsfreiraum und wertschätzendem Miteinander auf Augenhöhe Interesse?Bei Fragen hilft dir Nora gerne weiter.Kontaktiere sie einfach unter [email protected].