Data Engineer - Streaming & Vehicle Data (m/w/d)

Stellenbeschreibung:

Sie unterstützen bei der Weiterentwicklung von Telematik-Aufbereitungsprozessen via Spark Structured Streaming.
Die technische Anbindung von Object Stores an die Streaming-Plattform zur Anreicherung und Aggregation der Telematikdaten wird von Ihnen sichergestellt und kontinuierlich optimiert.
Dabei veredeln Sie Rohdaten über mehrere Qualitätsstufen hinweg (Bronze, Silver, Gold) und überführen komplexe Strukturen in flache Formate, um eine präzise und effiziente Datenanalyse zu ermöglichen.
Darüber hinaus begleiten Sie uns bei technologischen Weiterentwicklung und bringen die Offenheit mit, sich gegebenenfalls zukünftig mit den Komponenten der Gesamtarchitektur wie Cloud Streaming Architecture, AWS IoT Core, MQTT, Datalakes und Databricks zu befassen.

Ihr Studium der Informatik, Wirtschaftsinformatik oder einer vergleichbaren Ausbildung bildet die fachliche Basis.
Sie verfügen über fundierte Kenntnisse in der Datenverarbeitung mit Data Plattformen wie Databricks sowie praktische Erfahrung im Umgang mit Apache Spark und Streaming-Konzepten.
In der täglichen Arbeit setzen Sie Python (PySpark) und SQL routiniert ein, um effiziente Datenpipelines zu gestalten und Transformationen umzusetzen.
Sie bringen Erfahrung mit cloud-nativen Architekturen mit, beispielsweise im Microsoft Azure Umfeld und im Handling von Blob Storage Lösungen.
Sie sind bereit, Ihr Wissen bei Bedarf perspektivisch auf neue Bereiche wie Cloud Streaming Architecture im AWS IoT Umfeld zu erweitern.
Es bereitet Ihnen Freude, komplexe Datenströme in strukturierte Bahnen zu lenken und sich gemeinsam mit uns technologisch weiterzuentwickeln.
Sicheres Auftreten im Team und Kommunikationsstärke – in gutem Deutsch oder Englisch – runden Ihr Profil ab.