Data Engineer (AWS & Schienenverkehr) – sozialversicherungspflichtig angestellt (m/w/d)

Stellenbeschreibung:

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.

Für unseren Kunden suchen wir aktuell eine/n

Data Engineer (AWS & Schienenverkehr) – sozialversicherungspflichtig angestellt (m/w/d) - Mainz & Remote

Rahmeninformationen

Referenz:
Start:
Dauer: -
Standort: Mainz & Remote
Arbeitsumfang: full-time291 PT
Sprachen: Deutsch

Ihre Qualifikationen

(Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten, sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen.
(Muss) 4 Jahre Erfahrung in der Entwicklung von Datenplattformen in Microsoft-Azure- und AWS-Cloud-Umgebungen mit Azure Data Factory, AWS Glue und Amazon S3.
(Muss) 4 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenplattformen und On-Premise-Systemen in Cloud-Umgebungen, inklusive Refactoring und Anpassung bestehender Datenstrecken an cloud-native Technologien.
(Muss) Erfahrung in der Analyse, Integration, Modellierung und Aufbereitung von Stamm- und Transaktionsdaten des Schienengüterverkehrs aus heterogenen Quellsystemen aus 3 Projekten
(Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von CI/CD-Pipelines, Entwicklungsstandards, automatisierten Tests sowie Monitoring- und Logging-Lösungen für den Betrieb von Datenprodukten.
(Soll) 3 Jahre Erfahrung in der Konzeption von Datenarchitekturen und Datenprodukt-Blueprints sowie in der Umsetzung von Data Governance, Data Contracts und Berechtigungsmanagement auf cloudbasierten Datenplattformen.
(Soll) 3 Jahre Erfahrung in agilen Teams in SAFe Organisationen und der Nutzung von Jira und Confluence sowie Erfahrung in der Planung und Durchführung von Stakeholder-Workshops.

Ihre Aufgaben

Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen