Student/in (w/m/d) - Evaluation von Vision-Language Modellen für unbemannte Luftfahrzeuge

Das erwartet dich

Wir in der Abteilung für unbemannte Luftfahrzeuge untersuchen und entwickeln in diesem Rahmen neue Konzepte und Technologien für die Umgebungswahrnehmung unbemannter Luftfahrzeuge (UAVs). Diese Fähigkeit gewinnt für autonome UAVs in Zukunft extrem an Relevanz, bspw. für das Planen von kollisionsfreien Flugpfaden oder das Finden von Notlandeplätzen.

State-of-the-Art Vision-Language Modelle (VLMs) erzielen in vielen Bereichen vielversprechend Genauigkeit bei der Umgebungswahrnehmung und sind deshalb auch vielversprechend für UAV Use-Cases. Allerdings wurde ihre Performance aus UAV-Perspektive bisher noch nicht ausreichend untersucht. Vor diesem Hintergrund, bieten wir eine Stelle für ein Praktikum oder eine Masterarbeit an. Du evaluierst state-of-the-art VLMs, sowie ihre Stärken und Schwächen für Umgebungswahrnehmungs-Aufgaben aus UAV-Perspektive. Konkret umfasst die Aufgabenstellung die folgenden Teilaufgaben, wobei die konkrete Ausgestaltung je nach Deinen Interessensgebieten und Erkenntnissen im Rahmen unserer Forschungsprojekte angepasst werden kann.

Deine Aufgaben

• Recherche relevanter UAV-Datensätze und der state-of-the-art Performance darauf
• Recherche und Inbetriebnahme eines geeigneten VLMs
• Evaluation der Performance des VLMs auf ausgewählten Datensätzen, inkl. Analyse der Stärken und Schwächen des VLMs

Das bringst du mit

• Laufendes Hochschulstudium der Informatik, Robotik, Mathematik oder vergleichbarem (Master)
• Programmierkenntnisse (Python)
• Erste Kenntnisse in den Bereichen Deep Learning und Computer Vision
• Erste Erfahrungen in der Nutzung von Vision-Language Modelle sowie Verständnis ihrer Funktionsweise
• Freude an unabhängiger, selbstständiger Arbeit und der Bearbeitung wissenschaftlicher Fragestellungen