Senior Data Engineer (m/w/d) – Fokus: Dagster & Python / Cloud

Auslastung: Gesamt PT 202 / davon Onsite PT 10 (in Berlin)

Projektdetails

• Laufzeit: -
• Auslastung: Gesamt PT 202 / davon Onsite PT 10 (in Berlin)

Ziel des Einsatzes ist es, die interne IT unseres Kunden durch erfahrene Expertise zu ergänzen, um ein produktionstaugliches infrastrukturelles Setup inklusive Betriebsmodell mit dem internen IT-Dienstleister zu konzipieren und die Datenstrecken unter Einsatz moderner Prinzipien (CI/CD, automatisiertes Testing, Code-Reviews) agil aufzubauen.

Aufgaben

• Beratung bei der Strukturierung und Implementierung von Datenstrecken mit der Python-Open-Source-Bibliothek Dagster hinsichtlich der Nutzung und Umsetzung verfügbarer Features (z. B. Sensors, Partitions etc.) inkl. Dokumentation und Hands-on-Entwicklung
• Beratung beim Einsatz von Dagster-Integrationen, insbesondere dagster-dbt sowie embedded-elt mit dlt (inkl. Hands-on-Unterstützung durch Programmcode)
• Umsetzung des automatisierten Deployments von Dagster-Code auf einem Kubernetes-Cluster (CI/CD)
• Entwicklung von Dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Anforderungen inklusive Dokumentation
• Durchführung von Code-Reviews
• Aktive Teilnahme an agilen Regelterminen (Planning, Dailies/Scrums, Retrospektiven)

Muss-Kriterien

Must-have: Dagster Experte Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt - Erfahrungslevel in Jahren: Junior (<= 3 Jahre Erfahrung)

• Must-have: Python Experte - Beratung und Strukturierung der Implementierung von Datenstrecken - Erfahrungslevel in Jahren: Senior (> 5 Jahre Erfahrung)
• Must-have: Data Engineering Experte Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation - Erfahrungslevel in Jahren: Senior (> 5 Jahre Erfahrung)
• Erfahrung mit komplexen dbt Projekten mit dbt-core - Anzahl Referenzen: 3

Soll-Kriterien

• Erfahrung mit Projekten auf AWS Infrastruktur - Anzahl Referenzen: 1 (Gewichtung: 25%)
• Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) - Anzahl Referenzen: 1 (Gewichtung: 25%)
• Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework - Nachweis der Zertifizierung und Referenzen zur Anwendung (Gewichtung: 25%)
• Erfahrungen mit komplexen dbt Projekten mit dbt-core - Anzahl Referenzen: 3 (Gewichtung: 25%)