Big Data Engineer - ML Analytics & Search(f/m/x)

Big Data Engineer - ML Analytics & Search(f/m/x) (m/w/d)

Kurzüberblick

• Standort: München
• Arbeitsmodell: Vollzeit
• Anstellungsart: unbefristet

Aufgaben

• Design und Bau von hochleistungsfähigen Such- und Abfragemethoden über PB-Scale-MDF4- und MCAP-Datenspeicher, um ML-Engineeuren relevante Fahrzeugfälle, Sensorenbedingungen und Kantenfälle über Milliarden von Aufzeichnungen in Sekunden zu ermöglichen.
• Bau und Betrieb von Indexierung- und Katalogisierungssystemen für automotive-Sensordaten, einschließlich Metadaten-Extraktion, Signal-Ebene-Indexierung, Szene-Tagging und Embedding-basierte Ähnlichkeitsuche.
• Implementierung von verteilten Rechenpipelines für die Bewertung großer Datenmengen, wie Batch-Statistiken, Verteilungsanalyse, Annotation-Coverage-Berichte und Daten-Qualitätsbewertung.
• Bau schneller analytischer Abfragen, die eine interaktive Exploration auf Basis von Rohdaten ermöglichen.
• Entwicklung von Dataset-Assembly-Pipelines, die automatisch assemblieren, versionieren und registrieren.
• Optimierung für Kosten und Leistung durch intelligente Partitionierung, schichtweise Speicherung, Caching-Strategien und Abfrage-Down-Push, um Scan-Volumina über PB-Scale-Daten zu minimieren.
• Betrieb von Beobachtungsstacks für Datenpipelines, einschließlich Abfrageschwelle-Dashboards, Pipeline-Health und Datenfrische-Monitoring.

Anforderungen

• Universitätsabschluss in Informatik, Ingenieurwesen oder einem verwandten Fach.
• 3-5 Jahre Erfahrung in Big Data oder Data Engineering mit Schwerpunkt auf Analytics und Search über sehr große Datensätze.
• Starke Python- und SQL-Fähigkeiten, einschließlich Erfahrung in mindestens einem verteilten Rechenframework.
• Erfahrung mit columnar oder analytischen Speicher und Abfrageoptimierung bei PB-Scale.
• Kenntnisse von Such- und Indexierungstechnologien, einschließlich Volltextsuche, Vektor- oder Embedding-Search oder Metadatenkataloge.
• Produktionserfahrung mit Kubernetes und AWS/Azure/Google Cloud sowie Händchen für Infrastructure-as-Code.
• Erfahrung mit automotive-Messdaten (MDF4/ASAM MDF oder MCAP) sowie mit Embedding-basierter Retrieval, Dataset-Management-Tools, Stream-Processing oder graphbasierten Metadatensystemen.

Benefits

• Challenging Projekte, mit denen wir die Mobilität der Zukunft gemeinsam gestalten.
• Weite Palette an persönlichen und beruflichen Entwicklungsmöglichkeiten.
• Attraktive, faire und leistungsbasierte Vergütung.
• Hoher Grad an Arbeitsplatzsicherheit.
• Jährliche Sonderzahlungen wie Urlaubsgeld, Weihnachtsgeld und Gewinnbeteiligung.
• Flexible Arbeitszeiten einschließlich sechs Wochen Urlaub und Überstundenvergütung.
• Verkäufe mit Rabatt bei BMW und MINI.
• Viele weitere Vorteile auf bmw.jobs/benefits.