Senior Data Streaming Engineer - Data Platform (m/w/d)

Wir suchen einen hochqualifizierten Data Engineer mit umfassender Expertise im Echtzeit-Datenstreaming , in Cloud-Datenplattformen – besonders der Google Cloud Platform – sowie in Apache Beam . In dieser Rolle entwickelst, implementierst und optimierst Du Streaming-Datenpipelines , die skalierbare, zuverlässige und qualitativ hochwertige Datenflüsse ermöglichen. Dabei arbeitest Du eng mit Data Scientists, Analysts sowie Software Engineers zusammen, um Daten effizient zusammenzuführen, zu transformieren und für Analytics-, KI- und Business-Intelligence-Initiativen bereitzustellen.

Deine Aufgaben:

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
• Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
• Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
• Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Das bringst Du mit:

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
• Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
• Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
• Fundierte Programmierkenntnisse in Python.
• Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
• Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
• Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
• Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
• Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
• Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.

Benefits

• 30 Tage Urlaub & Möglichkeit auf 15 Tage unbezahlten Urlaub
• 25 Tage Workation im EU-Ausland
• Flexible Arbeitszeiten
• Sofakonzerte und Mitarbeitenden-Events
• Rabatt beim Ticketkauf & Clearing-Einsätze
• Corporate Benefits & Vergünstigungen bei KESS
• Zentrale Lage & Bezuschussung ÖPNV
• Bike Leasing
• Mental Health Programm & betriebliche Altersvorsorge
• Sprachlernplattform sowie Lunch & Learn

Wir schätzen Vielfalt und behandeln alle Bewerbungen gleich – unabhängig von Geschlecht, Herkunft, Alter, Religion, Behinderung oder sexueller Orientierung. Unterschiedliche Perspektiven bereichern unser Team und machen EVENTIM stärker.