Senior Data Engineer - Google Cloud Platform Berlin (m/w/x)

Senior Data Engineer - Google Cloud Platform Berlin (m/w/x) (m/w/d)

Wir suchen einen erfahrenen Data Engineer, der unser zentrales Google Cloud Data Lakehouse für Analytics- und Machine-Learning-Anwendungsfälle konzipiert, entwickelt und betreibt. Du wirst die Cloud-Architektur optimieren, die Skalierbarkeit unserer Lösungen sicherstellen und moderne Software-Engineering-Methoden anwenden, um neue Maßstäbe für CI/CD, automatisiertes Testing und Deployment-Prozesse in der Datenorganisation zu setzen.

Kurzüberblick

• Standort: Berlin
• Arbeitsmodell: Vollzeit
• Anstellungsart: Festanstellung

Aufgaben

Als Senior Data Engineer wirst du folgende Aufgaben übernehmen:

• Die Konzeption, Entwicklung und Betreibung von hochperformanten Batch- und Streaming-Datenflüssen in unserem zentralen Google Cloud Data Lakehouse für Analytics- und Machine-Learning-Anwendungsfälle.
• Die Optimierung der Cloud-Architektur (GCP) und die Sicherstellung der Skalierbarkeit unserer Lösungen.
• Die Anwendung moderner Software-Engineering-Methoden, um neue Maßstäbe für CI/CD, automatisiertes Testing und Deployment-Prozesse in der Datenorganisation zu setzen.
• Die Unterstützung der Weiterentwicklung unserer zentralen Orchestrierungs-Tools (auf Basis von Airflow und dbt), um die Effizienz und Qualität der Datenbereitstellung unternehmensweit zu steigern.
• Die Implementierung automatisierter Validierungsprozesse (z. B. für Streaming-Events) und die Sicherstellung der Einhaltung von Sicherheits- und Datenschutzstandards.
• Die Zusammenarbeit in interdisziplinären Teams mit Product Ownern, Data Scientists und Fachbereichen, um komplexe Business-Anforderungen in technische Lösungen zu übersetzen.

Anforderungen

• Mehrjährige fundierte Erfahrung im Data Engineering, Big Data Umfeld oder Software Engineering, idealerweise in einer Senior-Rolle.
• Fundierte Kenntnisse in Cloud-Infrastrukturen (Google Cloud Platform) sowie tiefe Erfahrung in der Verarbeitung von Echtzeitdaten mit Apache Kafka.
• Sehr gute Kenntnisse in Python und Spark. Sicher im Umgang mit Containerisierung (Kubernetes/Docker).
• Erfahrung mit Tools wie Apache Airflow und Transformationen via dbt ist von großem Vorteil.
• Sicher im Umgang mit dem Softwareentwicklungszyklus, Versionsverwaltung (Git) sowie DevOps-Prinzipien und automatisierten Tests.
• Analytisches Denkvermögen, ein agiles Mindset sowie eine eigenverantwortliche und lösungsorientierte Arbeitsweise.
• Sehr gute Englischkenntnisse; Deutschkenntnisse sind bevorzugt.

Benefits

• Arbeiten an der Schnittstelle zwischen Agilität und Sicherheit.
• Echte Gestaltungsspielräume in deinen Projekten.
• Stabiles Fundament der Schwarz Gruppe.