Data Engineer (K/M/N)

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in . Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Randlab

Randlab to dynamiczna firma technologiczna, która tworzy innowacyjne rozwiązania dla nowoczesnego biznesu. Specjalizujemy się w tworzeniu oprogramowania, aplikacji mobilnych oraz systemów zarządzania danymi. Company profile