Databricks Data Engineer (m/w/d)

Für unseren direkten Endkunden suchen wir ab sofort einen Senior Databricks Data Engineer (m/w/d).

Rahmendaten

• Start: ab sofort, Laufzeit bis (Verlängerung geplant, langfristige Zusammenarbeit erwünscht)
• Einsatzort: Köln, ca. 40 % vor Ort (2 Tage pro Woche) und 60 % remote
• Wohnort: maximal 100 km um Köln
• Auslastung: Vollzeit

Aufgabenbeschreibung

Im Rahmen der Tätigkeit als Databricks Data Engineer wird das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur auf Basis von Databricks überführt. In enger Zusammenarbeit mit den Fachbereichen und weiteren Data Engineers entstehen robuste und skalierbare Datenlösungen. Gearbeitet wird iterativ und kundenorientiert in einem etablierten Scrum-Setup.

• Umsetzung und Weiterentwicklung der Azure-/Databricks-Zielarchitektur (Lakehouse)
• Migration bestehender ETL-Prozesse (Informatica/Oracle) in performante Databricks-Pipelines
• Entwicklung von Datenpipelines mit Python, PySpark und SQL
• Aufbau und Pflege von Delta-Lake-Strukturen sowie Pipelines mit DLT/SDP
• Umsetzung von Datenmodellen und Historisierung, unter anderem nach SCD2
• Sicherstellung von Datenqualität und Governance, unter anderem mit Unity Catalog und Berechtigungsmodellen
• Performance-Optimierung bei der Verarbeitung großer Datenmengen
• Begleitung von Tests, Parallelbetrieb und Cutover
• Abstimmung mit Fachbereichen und anderen Entwicklungsteams sowie Dokumentation der Arbeitsergebnisse

Anforderungen

• Fundierte Praxis in der Umsetzung von Lakehouse-Architekturen sowie im Aufbau und Betrieb von Databricks
• Tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance-Mechanismen
• Fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen
• Souveräner Einsatz von KI-basierten Tools zur Effizienzsteigerung in der Entwicklung
• Fundierte Erfahrung im klassischen BI-/DWH-Umfeld, also in Datenhaltung, Datenmodellierung, Datentransport und Historisierung nach SCD2
• Erfahrung als Entwickler in einem Scrum-Team
• Idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken (z. B. Informatica) und deren Überführung nach Databricks
• Ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie sichere, klare Kommunikation mit Fachbereichen und Entwicklungsteams