Data Engineer (AWS & Python) – sozialversicherungspflichtig angestellt (m/w/d)

Data Engineer (AWS & Python) – sozialversicherungspflichtig angestellt (m/w/d) - Mainz & Remote

Rahmeninformationen

• Referenz:


• Start:


• Dauer: -


• Standort: Mainz & Remote


• Arbeitsumfang: full-time291 PT


• Sprachen: Deutsch

Ihre Qualifikationen

• (Muss) 3 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen, in AWS und Azure


• (Muss) 3 Jahre Erfahrung in der Entwicklung, Migration, Modernisierung und dem Betrieb von Datenplattformen in AWS-Cloud-Umgebungen mit Services AWS Glue, Amazon S3 sowie idealerweise Erfahrungen mit AWS EMR, AWS Step Functions und Amazon EventBridge


• (Muss) Erfahrung in der Entwicklung von Datenverarbeitungs- und Machine-Learning-Anwendungen in Microsoft-Azure-Cloud-Umgebungen mit Azure Data Factory, PySpark, Python und Scala aus einem Projekt


• (Muss) 3 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenanwendungen und On-Premise-Datenplattformen in Cloud-Umgebungen, inklusive Entwicklung von ETL-Migrationspipelines sowie Mapping und Validierung von Legacy- und Zieldatenmodellen


• (Muss) 3 Jahre Erfahrung in der Umsetzung von Datenqualitäts-, Test- und Monitoring-Lösungen für Datenpipelines, idealerweise auf Basis von Data Contracts


• (Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von DevOps Best Practices wie CI/CD-Prozessen, Infrastructure as Code und automatisierten Tests für die Bereitstellung cloudbasierter Datenpipelines und Plattformkomponenten in AWS- und Microsoft-Azure


• (Soll) Nachweis aktueller Zertifizierungen im Bereich Data Engineering (AWS Certified Data Engineer)


• (Soll) Erfahrung in der Entwicklung, dem Training und der Validierung von Machine-Learning- und Predictive-Analytics-Modellen in Azure-Cloud-Umgebungen sowie in der Orchestrierung der zugehörigen Datenpipelines mit Azure Data Factory aus einem Projekt


• (Soll) Erfahrung in der Konzeption und Implementierung von moderenen Data Governance Lösungen wie Data Contracts, Data Lineage, Medallion-Architekturen für Datenplattformen aus 3 Projekten

Ihre Aufgaben

• Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen


• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)


• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten


• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen


• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen


• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit


• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams


• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten


• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld


• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation


• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehenden Datenplattformen


• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen