(Senior) Databricks Engineer (m/w/d) – Freelance & Remote

Projektkontext & Zielsetzung

Für strategische Transformationsprojekte und den Ausbau moderner, skalierbarer Datenplattformen suchen wir einen erfahrenen (Senior) Databricks Engineer (m/w/d) . In dieser Rolle übernehmen Sie die technische Verantwortung von der Konzeption bis zum produktiven Rollout von Data- & AI-Lösungen auf Basis modernster Lakehouse-Architekturen.

Ihre Aufgaben

• Plattformkonzeption & -architektur: Konzeption, Aufbau und Weiterentwicklung moderner Lakehouse-Architekturen und skalierbarer Datenplattformen auf Databricks.
• Pipeline-Entwicklung: Entwicklung hochperformanter ETL/ELT-Pipelines (Batch und Streaming) unter Einsatz von Python, SQL, PySpark und Apache Spark.
• Databricks-Ökosystem & Tooling: Implementierung moderner Komponenten wie Unity Catalog, Delta Lake sowie Delta Live Tables / Lakeflow; Integration in bestehende Cloud- und Analytics-Landschaften.
• Data Governance & Security: Etablierung robuster Governance-Strukturen, inklusive Datenklassifizierung, Lineage, Datenqualitäts-Frameworks und Zugriffskontrollen.
• Automatisierung & Performance: Aufbau automatisierter Deployments (CI/CD, Infrastructure as Code) sowie kontinuierliche Performance- und Kostenoptimierung bestehender Databricks-Workloads.
• Technische Beratung & Know-how-Transfer: Technische Sparringspartner-Rolle für Stakeholder, Coaching interner Data Engineers sowie Mitwirkung an Proof of Concepts (PoCs).

Must-Have Skills

• Tiefgehende Databricks-Expertise: Mehrjährige Projekterfahrung im Design und Betrieb produktiver Databricks-Lösungen.
• Data Engineering & Programmiersprachen: Exzellente Kenntnisse in Python, SQL sowie fundierte Praxiserfahrung mit PySpark und verteilter Datenverarbeitung (Apache Spark).
• Architektur & Datenmodellierung: Nachweisbare Erfahrung mit Delta Lake, Lakehouse-Paradigmen und relationaler/dimensionaler Datenmodellierung.
• Data Governance & Security: Hands-on-Erfahrung mit Databricks Unity Catalog (Rollen-/Rechtemanagement, Lineage, Data Quality).
• Cloud-Infrastruktur: Solide Projekterfahrung in mindestens einer großen Cloud-Umgebung (Microsoft Azure, AWS oder GCP).
• Software-Engineering-Best-Practices: Versierter Umgang mit Git, CI/CD-Pipelines, Testing und IaC (z. B. Terraform).
• Kommunikation & Arbeitsweise: Selbstständige, strukturierte Arbeitsweise, ausgeprägtes Architekturverständnis sowie fließende Deutsch- und gute Englischkenntnisse.

Nice-to-Have

• Databricks-Zertifizierungen (z. B. Databricks Certified Data Engineer Professional).
• Erfahrung mit Delta Live Tables (DLT) oder Databricks Lakeflow.
• Erfahrung in der technischen Konzeption von PoCs und im Kunden-Coaching.