Senior Data Engineer Databricks

Stellenbeschreibung:

Senior Data Engineer (m/w/d) – Azure Databricks & Platform Architecture

Raum: Frankfurt | Vollzeit | Hybrid / Remote möglich

Unser Kunde ist ein etabliertes Unternehmen im Raum Frankfurt, das datengetriebene Innovationen vorantreibt und moderne Cloud-Technologien in den Mittelpunkt seiner IT-Strategie stellt. Zur Verstärkung des Data-Teams wird ein erfahrener Senior Data Engineer (m/w/d) mit Fokus auf Azure und Databricks gesucht.

Deine Aufgaben:

Entwicklung, Aufbau und Optimierung skalierbarer Data Pipelines in einer modernen Cloud-Umgebung
Verantwortung für die Architektur und Weiterentwicklung der Azure Databricks Plattform
Design und Implementierung von Data Lakes und Data Warehouses
Integration und Verarbeitung großer Datenmengen (Batch & Streaming)
Enge Zusammenarbeit mit Data Scientists, Analysts und Fachbereichen
Automatisierung von Deployments und Infrastrukturprozessen mittels Infrastructure as Code
Sicherstellung von Datenqualität, Governance und Security
Mitgestaltung von Best Practices im Bereich Data Engineering und Cloud Architecture

Dein Profil:

Mehrjährige Erfahrung im Data Engineering, idealerweise in Cloud-Umgebungen
Fundierte Kenntnisse in Azure Databricks (zwingend erforderlich)
Sehr gute Programmierkenntnisse in Python
Erfahrung mit Azure DevOps (CI/CD Pipelines, Repositories)
Know-how in Terraform und Infrastructure as Code
Erfahrung mit Kubernetes und containerisierten Anwendungen
Kenntnisse in Azure Blob Storage, Data Lake Storage und weiteren Azure Services
Erfahrung mit Apache Spark, Delta Lake und modernen Datenarchitekturen (z. B. Lakehouse)
Gute Kenntnisse in SQL und Datenmodellierung
Erfahrung mit ETL/ELT-Prozessen und Workflow-Orchestrierung (z. B. Airflow)
Verständnis von Microservices-Architekturen und API-Design
Idealerweise Kenntnisse in Streaming-Technologien (z. B. Kafka, Event Hubs)
Sehr gute Deutsch- und Englischkenntnisse