Senior Data Engineer (m/w/d) Lakehouse, Databricks

Stellendetails zu: Senior Data Engineer (m/w/d) Lakehouse, Databricks

Für unseren Kunden aus dem Versicherungsumfeld suchen wir einen Senior Data Engineer (m/w/d) am Standort Köln.

Stellenort

Ort: Köln

Anstellungsart

Vollzeit

Beschäftigungsbedingungen

• Homeoffice (bis zu 80 %)
• Stelle im Rahmen der Arbeitnehmerüberlassung
• Nach der Einarbeitungsphase Vor‑Ort‑Anwesenheit von 2 aufeinanderfolgenden Tagen alle 2 Wochen

Projektbeschreibung

Die Versicherung betreibt mit einer Analytics Plattform eine moderne Data-&AI-Plattform in der Azure Cloud. Diese wird aktuell für folgende Zwecke genutzt:

• Entwicklung und Betrieb von KI-Systemen (z. B. RAG‑Applikationen)
• Hosting selbst trainierter KI‑Modelle
• Durchführung von Ad-hoc‑Analysen auf strukturierten und unstrukturierten Daten
• Entwicklung von Datenprodukten, Datenintegration und -transformation für ein separates Data Warehouse

Im Rahmen der IT‑Transformations‑Roadmap wird Unterstützung für die Weiterentwicklung sowie die spätere Migration der Plattform benötigt.

Was wir bieten

• Attraktive Vergütung
• Interssantes technisches Umfeld
• Homeoffice‑Regelung
• Respektvolle Arbeitskultur
• Weihnachts- und Urlaubsgeld

Aufgabenbereich

• Weiterentwicklung der bestehenden Plattform zu einem Lakehouse
• Unterstützung bei der technischen Anbindung weiterer IT‑Systeme
• Unterstützung bei der Implementierung von Entwicklungsprozessen für Lakehouse‑Entwickler unter Beachtung von DABs und Data Contracts
• Unterstützung bei der automatischen Bereitstellung von Berechtigungsgruppen, Monitoring‑Dashboards und Incident‑Routing‑Mechanismen
• Vorbereitung der vorhandenen Infrastructure‑as‑Code‑Repositories sowie Bewertung der vorhandenen Assets
• Wiederherstellen vorhandener Assets, Daten und Daten‑Pipelines im neuen Tenant
• Anbindung an Umsysteme, SIEM und IAM
• Migration von GitLab CI/CD zu GitHub Actions
• Abbau der Cloud‑Ressourcen, Prozesse und Assets im alten Azure‑Tenant
• Tiefes Verständnis von Berechtigungsstrukturen innerhalb von Databricks mit Unity Catalog
• Erfahrung beim Design und Administration von Databricks Workspaces
• Entwicklung von resilienten Data‑Pipelines mit PySpark inkl. Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB)
• Kenntnisse von Data Contracts
• Partitionierung von Daten in Delta Lake
• Erfahrung mit GitLab CI/CD und/oder GitHub Actions
• Sehr gute Deutschkenntnisse in Wort und Schrift

Haben wir Ihr Interesse geweckt?

Dann freuen wir uns auf Ihre Rückmeldung.