Abschlussarbeit (w/m/d): Extraktion von Text-Objekt-Relations in technischen Zeichnungen mit LLMs

Das erwartet dich 

Eine Herausforderung bei der Erstellung digitaler Zwillinge ist die Umwandlung von technischen Dokumentationen, insbesondere von Rohrleitungs- und Instrumentierungsdiagrammen (P&IDs) und elektrischen Schaltplänen, in strukturierte, maschinenlesbare Daten. In dieser Arbeit sollen Methoden erforscht und evaluiert werden, die Textannotationen (Beschriftungen, Notizen, Teilenummern) nutzen, indem Sie Large Language Model (LLM)-Features mit Objektdetektoren kombinieren, die zur Vorhersage von Graphen verwendet werden.

Deine Aufgaben

• Implementierung moderner OCR-Technologie für P&IDs und elektrische Zeichnungen und Aufbau eines Datensatzes (synthetisch + real) für Training und Evaluierung
• Erstellung eines Tools zum Taggen von Textstrings und den zugehörigen Symbolen, um Ground-Truth-Beziehungstabellen (Text ↔ Objekt) zu erstellen
• Vergleich und Bewertung verschiedener Ansätze zur Kombination der Textfeatures mit der Symbolerkennung:
  • regelbasierte Methoden, die Distanz, Ausrichtung und domänenspezifische Hinweise verwenden (z. B. „Text, der über einem Symbol platziert ist, beschreibt dieses in der Regel“)
  • Extraktion von semantischen Features aus dem erkannten Text mit einem vortrainierten LLM und Kombinierung mit CNN-Features der Symbole
  • Training eines Classifiers, der Text- und Objekt-features als Eingabe nimmt und eine binäre Ausgabe „related/nicht related“ vorhersagt
  • Erfassung, wissenschaftliche Analyse und Präsentation der Untersuchungsergebnisse

Das bringst du mit

• laufendes Studium in Informatik, Mechatronik, Elektrotechnik oder einem verwandten Fachgebiet
• Bereitschaft, sich in komplexe Themen einzuarbeiten
• Grundkenntnisse im Bereich Machine Learning
• gute Kenntnisse in der Programmierung mit Python
• selbstständiges Arbeiten
• gute Kommunikations- und Teamfähigkeiten

Gewünschte Qualifikation:

• Erfahrung mit Computer Vision-Bibliotheken wie OpenCV, PyTorch oder TensorFlow
• Grundkenntnisse von LLMs