Freelancer RAG- und Prompt-Engineering (m/w/d)

Ein Sprachmodell ist nur so gut wie das Wissen, das es im richtigen Moment bekommt. Ob ein KI-Assistent eine Lieferzeit korrekt nennt oder sich etwas ausdenkt, entscheidet sich beim Chunking, bei der Suche und im Prompt. Genau hier suchen wir Verstärkung: erfahrene Freelancerinnen und Freelancer, die Retrieval-Augmented Generation nicht nur aus Tutorials kennen, sondern schon produktiv betrieben haben. Die Zusammenarbeit ist 100 % remote, aus Deutschland, Österreich oder der Schweiz, ab 11. November 2026.

vona ist eine KI- und Softwareagentur aus Leipzig, remote-first und mit vier Disziplinen in einem Team: KI-Integration, Web- und App-Entwicklung, Design sowie SEO und GEO. Wir beraten ehrlich, auch wenn die Antwort einmal „dafür braucht ihr keine KI“ lautet, und legen vor dem Start fest, woran ein Projekt gemessen wird. Unsere Kunden reichen vom Handwerksbetrieb über den Mittelstand bis zu Startups und etablierten Marken im deutschsprachigen Raum.

Ein Beispiel für die Art von Projekten: Für einen Online-Händler mit über 8.000 Produkten haben wir einen KI-Kundenberater auf RAG-Basis gebaut. Er greift über APIs auf Produktkatalog, FAQ-Datenbank und Bestellhistorie zu, eskaliert schwierige Fälle per E-Mail an das Team und bearbeitet laut Kunde 68 % der Anfragen selbstständig. Die Erstantwortzeit sank von 18 Stunden auf unter 90 Sekunden. Weitere Einsatzfelder findest du unter KI-Integration .

Deine Aufgaben

• Du konzipierst RAG-Pipelines für Kundenprojekte: Datenquellen anbinden, Dokumente aufbereiten und in sinnvolle Abschnitte teilen, Embeddings und Suche auswählen.
• Du setzt die Pipelines mit LangChain, LangGraph oder LlamaIndex um, je nachdem, was zum Projekt passt.
• Du schreibst und versionierst System- und User-Prompts und sorgst dafür, dass Antworten belegbar bleiben und das Modell Wissenslücken offen zugibt.
• Du baust Testsätze mit typischen Kundenfragen und misst Trefferqualität und Antwortgüte, bevor etwas live geht und nach jeder Änderung.
• Du wägst gemeinsam mit uns ab, ob ein Cloud-Modell wie Claude, GPT oder Mistral passt oder ein lokales Modell über Ollama sinnvoller ist.
• Mehrjährige Erfahrung in der Softwareentwicklung, bevorzugt mit Python, und mindestens ein RAG-System, das du in den Betrieb gebracht hast.
• Sicherer Umgang mit LangChain oder LlamaIndex sowie mit mindestens einer Vektordatenbank oder Vektorsuche.
• Ein methodisches Verständnis dafür, wie man die Qualität von Antworten misst, statt sich auf Bauchgefühl zu verlassen.
• Die Fähigkeit, technische Abwägungen so zu erklären, dass auch Kunden ohne Technikhintergrund sie nachvollziehen können.
• Sichere Kommunikation auf Deutsch oder Englisch.
• Eine eigene Selbstständigkeit oder einen Freiberufler-Status mit Sitz in Deutschland, Österreich oder der Schweiz.

Schön, aber kein Muss: Erfahrung mit LangGraph oder Agenten-Frameworks wie CrewAI, mit Hugging Face oder mit dem Betrieb lokaler Modelle.

Was wir bieten

• Echte Kundenprojekte mit klar definiertem Ziel, keine Machbarkeitsstudien, die in der Schublade landen.
• Eine feste Ansprechperson auf unserer Seite und regelmäßige Abstimmungen im vereinbarten Rhythmus.
• Zugang zu den KI-Werkzeugen, die das Projekt braucht, etwa Claude, Claude Code, ChatGPT oder OpenRouter.
• Freie Zeiteinteilung nach Auftragslage, Arbeit vollständig von deinem eigenen Arbeitsplatz aus.
• Bei erfolgreicher Zusammenarbeit die Möglichkeit auf Anschlussprojekte – eine Perspektive, keine Garantie.