Senior Cloud Data & AI Engineer (m/w/d) - Databricks - ruhrdot GmbH

Senior Cloud Data & AI Engineer gesucht: Du konzipierst und implementierst moderne Data‑ und AI‑Plattformen auf Basis von Databricks, entwickelst robuste Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark und gestaltest skalierbare Lakehouse‑Architekturen.

Tätigkeiten

• Konzeption und Implementierung moderner Data‑ & AI‑Plattformen auf Basis von Databricks
• Entwicklung robuster und performanter Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark
• Arbeiten an skalierbaren Lakehouse‑Architekturen für Analytics‑, ML‑ und GenAI‑Anwendungsfälle
• Einsetzen zentraler Databricks‑Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search in produktiven Umgebungen
• Unterstützung beim Aufbau und der Operationalisierung von ML‑, LLM‑ und GenAI‑Use‑Cases
• Arbeiten an Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für moderne AI‑Anwendungen
• Integration unterschiedlicher Quellsysteme wie APIs, Datenbanken, ERP‑ oder CRM‑Systeme
• Umsetzung von Anforderungen rund um Data Quality, Security, Governance und Observability
• Automatisierung von Deployments und technischen Standards mit Git, CI/CD und Infrastructure as Code
• Beratung von Kunden und internen Stakeholdern bei Architekturentscheidungen rund um Datenplattformen und AI‑Lösungen
• Wissensaustausch im Team, technische Orientierung und Unterstützung weniger erfahrener Kolleginnen und Kollegen

Anforderungen

• Mehrjährige Erfahrung im Bereich Data Engineering, Machine Learning Engineering, AI Engineering oder in einer vergleichbaren Rolle
• Sehr gute Kenntnisse in Databricks, Python, SQL, Spark und PySpark
• Praxis mit mindestens einer Cloud‑Plattform, idealerweise Azure oder AWS
• Erfahrung im Aufbau und Betrieb moderner Datenplattformen in der Cloud
• Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks‑Umfeld
• Gute Kenntnisse in modernen AI‑/LLM‑Architekturen (RAG, Retrieval, Evaluation, Serving, produktive GenAI‑Anwendungen)
• Verständnis für Lakehouse‑Architekturen, Datenmodellierung und produktive Datenprozesse
• Erfahrung in Data Governance, Data Quality, Security und Monitoring
• Sicherer Umgang mit Git, CI/CD und idealerweise Infrastructure as Code
• Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder vergleichbarem Studiengang
• Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise

Benefits

• Full certification support für Databricks und Cloud‑Provider
• Modernes Equipment – Premium‑Notebook und Smartphone
• Home‑Office‑Optionen für optimale Work‑Life‑Balance
• Attraktive Vergütung und sichere Arbeitsplätze in Wachstumsbranche