(Senior) Data Engineer (m/f/d) - Azure (m/w/d)

Kurzüberblick

• Standort: Berlin
• Arbeitsmodell: Hybrid
• Anstellungsart: Vollzeit, unbefristet

Aufgaben

• Entwicklung von skalierbaren ETL/ELT-Pipelines in einer Lakehouse-Architektur mit Databricks, Azure Data Factory, Azure Data Lake und anderen modernen Tools.
• Erstellung von analytischen Datenmodellen und -strukturen, optimiert für Leistung und Benutzerfreundlichkeit.
• Einrichtung von Best Practices in der Datenengineering, einschließlich CI/CD mit Azure DevOps, Git-Workflows, Testing und Monitoring.
• Integration von Workflows und Orchestrierung mit Airflow und anderen Tools, wie erforderlich.
• Behebung von Problemen, Überwachung und Verbesserung der Datenqualität, Pipeline- Zuverlässigkeit und Job-Leistung in verteilten Systemen.
• Arbeit mit Stakeholdern, um Datenanforderungen zu verstehen und skalierbare, wartbare Lösungen bereitzustellen.
• Aufrechterhaltung der Kenntnisse über Trends in Cloud-Datenplattformen, Open-Source-Frameworks und Ingenieurpraktiken.

Anforderungen

• Abschluss in Informatik, Ingenieurwesen oder einem verwandten Fach.
• 5+ Jahre Erfahrung in Datenengineering, mit Schwerpunkt auf Cloud-native-Plattformen.
• Praktische Kenntnisse von Azure Data Factory, Databricks, Azure Data Lake, SQL und Python.
• Kenntnisse von DevOps-Workflows (z.B. Git, Azure DevOps) und Orchestrierungstools wie Airflow.
• Grundlegende Kenntnisse von Datenbanken, Datenmodellierung und moderner Datenarchitektur.
• Starke Kommunikationsfähigkeiten und die Fähigkeit, sich mit Geschäftspartnern und technischen Stakeholdern zu verständigen.
• Proaktives Denken, in der Lage, Ergebnisse zu übernehmen und Ambiguität zu navigieren.

Benefits

• ...