Cloud Data & AI Engineer (m/w/d) - Databricks - ruhrdot GmbH

Cloud Data & AI Engineer – Schwerpunkt Databricks

Wir suchen einen Cloud Data & AI Engineer, der moderne Data‑&‑AI‑Plattformen auf Azure oder AWS gemeinsam mit unserem Team und unseren Kunden umsetzt und weiterentwickelt. Dabei verbindest du Data Engineering, Cloud‑Technologien und AI‑nahe Themen zu Lösungen, die fachlich sinnvoll und technisch sauber aufgebaut sind.

Verantwortlichkeiten

• Entwickeln moderner Data‑&‑AI‑Lösungen auf Basis von Databricks
• Aufbau robuster Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark
• Arbeiten an Lakehouse‑Architekturen für Analytics‑, ML‑ und GenAI‐Anwendungsfälle
• Nutzen zentraler Databricks‑Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search
• Unterstützen bei der Umsetzung und Weiterentwicklung von ML‑, LLM‑ und GenAI‑Use‑Cases
• Arbeiten an Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für AI‑Anwendungen
• Bindung unterschiedlicher Quellsysteme wie APIs, Datenbanken, ERP‑ oder CRM‑Systeme an
• Umsetzung von Anforderungen rund um Data Quality, Security, Governance und Observability
• Arbeiten mit Git, CI/CD und Infrastructure as Code an produktiven Deployments
• Einbringen in technische Konzepte, Best Practices und Weiterentwicklung unserer Delivery‑Standards

Qualifikationen

• Erste bis mehrjährige praktische Erfahrung im Bereich Data Engineering, Machine Learning Engineering oder AI Engineering
• Gute Kenntnisse in Databricks, Python, SQL, Spark und PySpark
• Praxis mit mindestens einer Cloud‑Plattform (idealerweise Azure oder AWS)
• Erfahrung im Aufbau oder in der Weiterentwicklung moderner Datenplattformen in der Cloud
• Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks‑Umfeld
• Grundverständnis moderner AI‑/LLM‑Konzepte (z. B. RAG, Retrieval, Evaluation, Serving und produktive GenAI‑Anwendungen)
• Verständnis für Lakehouse‑Architekturen, Datenmodellierung und produktive Datenprozesse
• Erste Erfahrung in den Bereichen Data Governance, Data Quality, Security und Monitoring
• Sicherer Umgang mit Git und idealerweise erste Erfahrung mit CI/CD und Infrastructure as Code
• Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder einem vergleichbaren Studiengang
• Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise
• Sehr gute Deutsch- und gute Englischkenntnisse

Zusätzliche Wünsche

• Erfahrung mit Terraform oder OpenTofu
• Erfahrung mit Kafka, CDC oder eventgetriebenen Architekturen
• Kenntnisse in Airflow, dbt oder vergleichbaren Tools
• Erfahrung in der Anbindung unterschiedlicher Quellsysteme
• Freude an der Zusammenarbeit mit Kunden und interdisziplinären Teams
• Zertifizierungen im Umfeld von Databricks, Azure oder AWS

Team & Kultur

• Engineering‑Exzellenz: Moderne Cloud Data & AI Plattformen. Sauberes Engineering, Qualität und Pragmatismus – keine Quick‑and‑Dirty‑Hacks.
• Steile Lernkurve zur Core‑Expertise: Förderung vom Spezialisten zum Trusted Advisor. Zertifizierungen (Databricks, Azure, AWS) gehen vollständig auf uns zu.
• Dein Spielfeld: Vom agilen Startup bis zum DAX‑Konzern – Beratung auf Augenhöhe und direkte Umsetzung innovativer Konzepte.
• Best‑in‑Class Setup: State‑of‑the‑Art Cloud‑Technologien und Premium‑Equipment.
• Echte Teamkultur: Internationaler Austausch, flache Hierarchien, gemeinsames Feiern von Erfolgen.
• Work‑Life‑Balance: Flexibilität, Home‑Office und individuelle Modelle, damit dein Job zu deinem Leben passt.

Bewerbungsprozess

• Step 1: Das Kennenlernen (Culture Fit) – Video‑Call mit HR – 30‑40 Min.
• Step 2: Deep Dive (Fachlicher Austausch) – Persönliches Gespräch (oder Video) – 60‑90 Min.
• Step 3: Finaler Check (Optional) – Kurzes Gespräch, falls nötig.
• Step 4: Welcome on Board! – Vertragsangebot und Einstieg.