Data Engineer Databricks / Lakehouse (m/w/d)

In dieser Rolle gestalten Sie die Transformation der Datenlandschaft hin zu einer skalierbaren Lakehouse-Architektur auf Databricks. Sie legen die Grundlage für datengetriebene Entscheidungen und innovative AI-Anwendungsfälle. Sie entwickeln ETL-/ELT-Pipelines mit Python (PySpark) und treiben die Migration von klassischen Data-Warehouse-Strukturen zu modernen Lakehouse-Lösungen. Sie arbeiten eng mit BI, Analytics, Architektur und Fachbereichen zusammen und liefern stabile, auditierbare Pipelines sowie Governance-Dokumentation.

• Attraktives Gehalt
• flexible Arbeitszeiten mit remote-Option
• Weiterbildungsmöglichkeiten
• Rabatte auf 1&1 Produkte
• Betriebsrestaurant
• Getränke und Obst

• Entwurf, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf PySpark/Databricks
• Migration von MS SQL Server/Data-Warehouse-Architekturen hin zu Lakehouse-Lösungen
• Erstellung differenzierter Pipeline-Logiken zur Stabilität, SLA-Konformität und Auditierbarkeit
• Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
• Sicherstellung der Datenkonsistenz während der Migration
• Durchführung von Transformations- und Metadaten-Anreicherung gemäß Zielarchitektur
• Performance-, Kosten- und Skalierbarkeitsoptimierung von Pipelines
• Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
• Enge Zusammenarbeit mit BI/Analytics/Architektur- und Entwicklungsteams
• Dokumentation und Governance der technischen Systeme

• Abgeschlossenes Studium in Informatik oder vergleichbar
• Mehrjährige Data-Engineering-Erfahrung (ca. 3–6 Jahre)
• Sehr gute Python-Kenntnisse (insb. PySpark)
• Fundierte Spark-/Databricks-Erfahrung
• Starkes Verständnis von ETL/ELT, Datenmodellierung und Orchestrierung
• Erfahrung mit Microsoft SQL Server und sehr guten SQL-Kenntnissen
• Analytische, strukturierte, lösungsorientierte Arbeitsweise
• Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
• Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
• Verständnis von Data Governance, Compliance und Metadatenmanagement

• Analytische Denkweise
• strukturierte Arbeitsweise
• teamorientierte Zusammenarbeit
• Python/PySpark
• Apache Spark
• Databricks Lakehouse