KI Engineer (m/w/d)

Michael Page Frankfurt

Stellenbeschreibung:

KI Engineer (m/w/d) – Michael Page

Be among the first 25 applicants.

Produktive KI, echter Impact, flexible Rolle
Moderner Arbeitgeber und flexible HO‑Regelung

About Our Client

Du willst dafür sorgen, dass KI nicht nur theoretisch gut klingt, sondern im realen Einsatz zuverlässig performt? Dann bist Du bei uns richtig.

Unsere KI‑Plattform ist bereits produktiv im Einsatz und wird für anspruchsvolle, wissensintensive Anwendungsfälle genutzt. Die Nachfrage wächst – und mit Dir wollen wir Qualität, Skalierung und Performance auf das nächste Level heben.

In dieser Rolle arbeitest Du an der Schnittstelle von LLMs, Prompt Engineering und systematischer Qualitätsoptimierung. Je nach Schwerpunkt bringst Du Deine Stärken stärker im Prompt‑Design oder in der messbaren Verbesserung von Precision, Recall und F1‑Score ein.

Job Description

Entwicklung, Test und Optimierung von Prompts für moderne LLMs mit Fokus auf stabile, reproduzierbare Ergebnisse
Analyse komplexer fachlicher Anforderungen und Übersetzung in technische Prompt‑ und Evaluationsstrategien
Systematische Optimierung von Precision, Recall und F1‑Score auf Prompt‑, Modell‑ und Pipeline‑Ebene
Identifikation typischer LLM‑Probleme (z. B. Halluzinationen, unvollständige Antworten, falsche Schlussfolgerungen) und Analyse ihrer Ursachen
Bewertung und Verbesserung von RAG‑Pipelines, insbesondere Dokument‑Ranking, Chunking und Embeddings
Aufbau und Weiterentwicklung von Evaluations‑Frameworks für transparente Qualitätsmessung
Automatisierung von Tests, Analysen und Prompt‑Iterationen durch Skripte und Tools
Enge Zusammenarbeit mit Produkt‑, Entwicklungs‑ und Fachexperten

The Successful Applicant

Studium in Informatik, Data Science, Computational Linguistics oder vergleichbarem Bereich
Sehr gutes Verständnis von LLMs, NLP und Machine Learning
Erfahrung mit Prompt Engineering und iterativer Prompt‑Optimierung
Sicherer Umgang mit Precision, Recall, F1‑Score und gängigen Evaluationsmethoden
Praxiserfahrung mit Retrieval‑, Search‑ oder RAG‑Architekturen
Sehr gute Python‑Kenntnisse für Datenanalyse, Tests und Auswertungen
Analytisch, strukturiert und hands‑on – Du willst Dinge messbar besser machen
Freude an interdisziplinärer Zusammenarbeit und produktnaher Entwicklung