Data Engineer Databricks / Lakehouse (w/m/d)

Stellenbeschreibung

In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.

• Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
• Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
• Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
• Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
• Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
• Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
• Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
• Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
• Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
• Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
• Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance

Profilbeschreibung

• Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
• Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
• Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
• Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
• Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
• Analytische, strukturierte und lösungsorientierte Arbeitsweise
• Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
• Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
• Verständnis von Data Governance, Compliance sowie Metadatenmanagement

Wir bieten

• Attraktives Gehalt
• Starke Gemeinschaft aus Teamplayern
• Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten
• Zahlreiche Weiterbildungsmöglichkeiten on- und offline
• Rabatte auf 1&1 Produkte und für diverse Freizeitangebote
• Betriebseigenes Restaurant
• Kostenlose Getränke und frisches Obst
• Jobrad-Zuschuss