Data Infrastructure Architect

Senior Data Engineer

Das Team Senior Data Engineer ist ein wichtiger Teil unseres Entwicklerteams, das sich um die Weiterentwicklung der iPEN Plattform kümmert. iPEN ermöglicht es den regionalen Verteilnetzbetreibern, ihre Daten zentral zu bündeln und verfügbar zu machen.

Als Senior Data Engineer wirst du dabei helfen, das neue Produkt Business Insights Hub innerhalb von iPEN aufzubauen. Dieses Produkt bietet Dashboards für vielfältige Analysen von Businessprozessen auf einer einheitlichen Datenbasis, was die Effizienz und Transparenz steigern und eine Grundlage für daten- und faktenbasierte Entscheidungen in der gesamten Netz-Community schaffen soll.

Die Rolle als Senior Data Engineer bietet dir viele Herausforderungen:

• Datenintegration : Du unterstützt alle Datenintegrationsaktivitäten für das neue Produkt innerhalb der bestehenden iPEN Plattform (Databricks, Unity Catalog).
• Quellsystemanbindung : Du gestaltest den Prozess zur Anbindung der Quellsysteme und begleitest die Transformation in das gemeinsame Datenmodell.
• Enablement : Du befähigst die Data Engineers der Netzbetreiber, aktiv zur ETL-Codebasis beizutragen und förderst die Wiederverwendung von Code.
• Pipeline-Entwicklung : Du implementierst ETL-Pipelines zur Datenextraktion und sorgst für deren Effizienz.
• Betriebssicherheit : Du verantwortest den stabilen und zuverlässigen Betrieb der Datenpipelines.

Zu deinen Qualifikationen gehören:

• Azure-Erfahrung : Du bringst fundierte Kenntnisse im Microsoft Azure Technologie-Stack mit, insbesondere in Azure Data Factory und Azure Databricks.
• Entwicklungskompetenz : Du hast mehrjährige Erfahrung mit Python, Scala, SQL, Spark und Databricks in cloud-nativen Projekten.
• Pipeline-Know-how : Du hast nachweislich Erfahrung im Management von Datenextraktionspipelines.
• Analytisches Denken : Du arbeitest strukturiert, denkst analytisch und organisierst komplexe Aufgaben souverän.
• Kommunikation : Du kommunizierst klar, erstellst überzeugende Konzepte und sprichst fließend Deutsch und Englisch.