Engenheiro de Dados Sênior AWS

A Leega Consultoria busca um Engenheiro de Dados Sênior com foco em AWS para atuar na migração e otimização de pipelines de dados. O profissional será responsável por liderar o desenho técnico e a execução da migração de pipelines e workloads para o Databricks, garantindo performance, segurança e governança. Além disso, irá construir, refatorar e otimizar processos de ingestão e transformação de dados em lote e streaming, utilizando PySpark em ambiente Cloud AWS e Databricks.

Responsabilidades

• Liderar o desenho técnico e a execução da migração de pipelines de dados e workloads para o Databricks.
• Construir, refatorar e otimizar processos de ingestão e transformação de dados em lote e streaming (ex: Kafka), utilizando PySpark em ambiente Cloud AWS e Databricks.
• Projetar e evoluir a arquitetura de dados (conceito Lakehouse), implementando a Arquitetura Medalhão (camadas Bronze, Silver e Gold) e explorando o potencial de Delta Tables.
• Atuar como referência técnica dentro de squads multidisciplinares, aplicando e disseminando as melhores práticas de desenvolvimento, testes e CI/CD para processamento distribuído.
• Discutir necessidades e gargalos com stakeholders e traduzir requisitos de negócio em arquiteturas de dados eficientes, contribuindo com novos produtos e visões que gerem insights acionáveis.