Data Engineer – Data Platforms (Vector Search, HNSW) (m/w/d)

Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.

Für unseren Kunden suchen wir aktuell eine/n

Data Engineer – Data Platforms (Vector Search, HNSW) (m/w/d) - Remote + Termine in Berlin

Rahmeninformationen

• Referenz:
• Start:
• Dauer: 12 Monate + Option
• Standort: Remote + Termine in Berlin
• Arbeitsumfang: full-time
• Sprachen: Deutsch + Englisch

Ihre Qualifikationen

• Fundierte Erfahrung mit Vector Search, insbesondere Approximate Nearest Neighbour (ANN) und HNSW
• Erfahrung mit Filtered Vector Search
• Kenntnisse in der Analyse und Optimierung der Search Relevance bei semantischer und hybrider Suche
• Erfahrung mit der Analyse und Optimierung von Chunking-Strategien und Scoring
• Fundierte Kenntnisse in der Query-Optimierung, einschließlich Profiling und Rewriting langsamer Queries
• Erfahrung mit der Optimierung von Suchanfragen zur Reduzierung von Latenzen, z. B. durch den gezielten Einsatz gecachter Filter
• Erfahrung im Shard- und Cluster-Tuning
• Kenntnisse in der Optimierung von Node-Workloads und der Auswahl geeigneter Data-Node-Instanzen anhand von Last- und Suchmustern
• Erfahrung mit Index Lifecycle Management (ILM)
• Erfahrung mit großskaligen OpenSearch-Projekten, idealerweise mit mehr als 100 Millionen Vektoren und über 200 GB Daten
• Ausgeprägte analytische und lösungsorientierte Arbeitsweise

Ihre Aufgaben

• Konzeption, Optimierung und Weiterentwicklung von Vector-Search-Lösungen auf Basis von OpenSearch
• Analyse und Verbesserung der Qualität und Performance semantischer und hybrider Suchverfahren
• Optimierung von Chunking-Strategien, Scoring-Modellen und Suchrelevanz
• Profiling, Analyse und Überarbeitung langsamer Queries zur Reduzierung der Latenz
• Optimierung von Queries durch den gezielten Einsatz gecachter Filter
• Analyse und Optimierung der Shard-Verteilung und Cluster-Performance
• Ausbalancierung der Node-Workloads sowie Optimierung der Data-Node-Konfiguration
• Planung und Optimierung des Index Lifecycle Managements
• Beratung zur Auswahl geeigneter Data-Node-Instanzen auf Basis von Lastprofilen und Suchmustern
• Performanceoptimierung und nachhaltige Weiterentwicklung einer großskaligen OpenSearch-Plattform

Ihre Ansprechpartner

Mandy Granz

P:

E: