Senior Data Architect – Data Lake & AWS (m/w/d) 95 remote ID02259

Projektarbeit (extern) Frankfurt am Main, Remote. Start Januar

Python

Spark

Java

PostgreSQL

Terraform

Big Data

SQL

Confluence

Jira

Scala

ETL

Agile

CloudFormation

CloudFormation

Data Lake

Amazon Redshift

AWS-Services (S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS)

AWS CDK

PyTest

ScalaTest

Senior Data Architect – Data Lake & AWS (m/w/d) ID02259

...für die Weiterentwicklung einer zentralen Daten- und Analyseplattform

Start:
Ende:
Einsatzort: Frankfurt am Main, 95% Remote

Projektbeschreibung:

Das Projekt Weiterentwicklung Daten- und Analyseplattform umfasst die Pflege und den Ausbau einer bestehenden Daten- und Analyseplattform (Data Lake) zur Sammlung, Verarbeitung und Aufbereitung von Analyse-, Reporting- und Machine-Learning-Daten. Gesucht wird ein erfahrener Data Architect, der die Architektur weiterentwickelt, komplexe fachliche Anforderungen umsetzt und Big-Data-Technologien in einem agilen Umfeld einsetzt.

Aufgaben:

– Erstellung von Big-Data-Prototypen für Datenintegration, -haltung, -aufbereitung und -analyse
– Entwicklung einer technischen Data-Lake-/DWH-Architektur mit Schwerpunkt auf der Analyse großer Datenmengen mit Spark
– Erarbeitung der Mehrschichtarchitektur (Landing-, Structured-, Export-, Use-Case-Zonen)
– Entwicklung und Optimierung von ETL-Routinen in Amazon Redshift und PostgreSQL
– Nutzung von AWS-Services wie S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS
– Softwareentwicklung in Scala und Python
– Dokumentation in Confluence, Aufgabensteuerung in Jira

Anforderungen (Muss-Kriterien):

– Mindestens 6 Jahre Architekturverantwortung im Bereich Data Lake
– Mindestens 6 Jahre Erfahrung mit energiewirtschaftlichen Daten
– Mindestens 6 Jahre Erfahrung in der Umsetzung von Anforderungen mit Scala, Python, SQL, Java
– Mindestens 3 Jahre tiefgehende Kenntnisse der AWS-Services (S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS)
– Mindestens 6 Jahre Erfahrung in Datenbankentwicklung mit großen Datenmengen (Big Data)

Bewertungskriterien (Soll):

– Mindestens 3 Jahre Erfahrung in der Modellierung und Entwicklung von ETL-Strecken – 20 %
– Erfahrung im Aufbau von Data-Lake-Architekturen – 20 %
– Ausgeprägtes Problemlösungs-Know-how zur aktiven Mitgestaltung komplexer Prozesse – 20 %
– Erfahrung in Infrastructure-as-Code (Terraform, AWS CDK, CloudFormation) – 20 %
– Erfahrung in Testautomatisierung mit PyTest und ScalaTest – 20 %

Das Team von der mund consulting freut sich auf Ihre Bewerbung – bitte mit aktuellem CV, Verfügbarkeit, Stundensatz und Projektreferenzen.
Herzliche Grüße
Thomas Mund
-

Bearbeitet