Cloud Data & AI Engineer (m/w/d) - Databricks

Cloud Data & AI Engineer mit Schwerpunkt Databricks

Wir suchen einen Cloud Data & AI Engineer, der moderne Data‑&‑AI‑Plattformen auf Azure oder AWS gemeinsam mit unserem Team und unseren Kunden umsetzt und weiterentwickelt. Dabei verbindet er Data Engineering, Cloud‑Technologien und AI‑nahe Themen zu Lösungen, die fachlich sinnvoll und technisch sauber aufgebaut sind.

Ihre Aufgaben

• Entwickle moderne Data‑&‑AI‑Lösungen auf Basis von Databricks.
• Baue robuste Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark.
• Arbeiten an Lakehouse‑Architekturen für Analytics‑, ML‑ und GenAI‑Anwendungsfälle.
• Nutze zentrale Databricks‑Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search.
• Unterstütze die Umsetzung und Weiterentwicklung von ML‑, LLM‑ und GenAI‑Use‑Cases.
• Arbeite Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für AI‑Anwendungen.
• Binde unterschiedliche Quellsysteme wie APIs, Datenbanken, ERP‑ oder CRM‑Systeme an.
• Unterstütze Anforderungen rund um Data Quality, Security, Governance und Observability.
• Arbeite mit Git, CI/CD und Infrastructure as Code an produktiven Deployments.
• Bringe dich in technische Konzepte, Best Practices und die Weiterentwicklung unserer Delivery‑Standards ein.

Ihr Profil (Must‑have)

• Erste bis mehrjährige praktische Erfahrung im Bereich Data Engineering, Machine Learning Engineering, AI Engineering oder einer vergleichbaren Rolle.
• Gute Kenntnisse in Databricks.
• Gute Kenntnisse in Python, SQL, Spark und PySpark.
• Praxiserfahrung mit mindestens einer Cloud‑Plattform, idealerweise Azure oder AWS.
• Erfahrung im Aufbau oder in der Weiterentwicklung moderner Datenplattformen in der Cloud.
• Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks‑Umfeld.
• Grundlegendes bis gutes Verständnis moderner AI‑/LLM‑Konzepte, z. B. RAG, Retrieval, Evaluation, Serving und produktive GenAI‑Anwendungen.
• Gutes Verständnis für Lakehouse‑Architekturen, Datenmodellierung und produktive Datenprozesse.
• Erste Erfahrung in den Bereichen Data Governance, Data Quality, Security und Monitoring.
• Sicherer Umgang mit Git und idealerweise erste Erfahrung mit CI/CD und Infrastructure as Code.
• Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder einem vergleichbaren Studiengang.
• Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise.
• Sehr gute Deutsch‑ und gute Englischkenntnisse.

Worüber wir uns zusätzlich freuen (kein Must‑Have)

• Erfahrung mit Terraform oder OpenTofu.
• Erfahrung mit Kafka, CDC oder eventgetriebenen Architekturen.
• Kenntnisse in Airflow, dbt oder vergleichbaren Tools.
• Erfahrung in der Anbindung unterschiedlicher Quellsysteme.
• Freude an der Zusammenarbeit mit Kunden und interdisziplinären Teams.
• Zertifizierungen im Umfeld von Databricks, Azure oder AWS.

Was dich bei uns erwartet (Benefits)

• Engineering‑Exzellenz: Moderne Cloud‑Data‑&‑AI‑Plattformen aufgebaut mit Fokus auf sauberes Engineering, Qualität und Pragmatismus.
• Steile Lernkurve zur Core‑Expertise: Förderung vom Spezialisten zum Trusted Advisor; Zertifizierungen (Databricks, Azure, AWS) werden vollständig unterstützt.
• Vielfältiges Arbeitsumfeld: Vom agilen Startup bis zum DAX‑Konzern – Beratung auf Augenhöhe und Umsetzung innovativer Konzepte.
• Best‑in‑Class Setup: State‑of‑the‑Art Cloud‑Technologien und Premium‑Equipment.
• Echte Teamkultur: Internationaler Austausch, flache Hierarchien und gemeinsame Erfolge.
• Work‑Life‑Balance: Flexibilität, Home‑Office‑Optionen und individuelle Modelle zur Vereinbarkeit von Beruf und Privatleben.