Master Thesis – Methods for Acoustic Event Detection

This challenge is waiting for you:

Mit den neuen Entwicklungen auf dem Gebiet der KI und des maschinellen Lernens werden zunehmend leistungsfähige Methoden zur automatischen Verarbeitung, Analyse und Generierung von Audiodaten eingesetzt. So können Maschinen Informationen aus Audiosignalen extrahieren, ähnlich wie ein Mensch, der kontinuierlich Informationen in seiner akustischen Umgebung wahrnimmt. Zu den verschiedenen Anwendungen gehören die Identifizierung unerwünschter Geräusche in Fahrzeugen, die Erkennung von Glasbruch in städtischen Umgebungen oder die Klassifizierung von Tiergeräuschen.
Für eine zuverlässige Erkennung von akustischen Ereignissen mit überwachten Lernmethoden ist nach wie vor ein erheblicher Aufwand für die Sammlung, Analyse und Kennzeichnung von Trainingsdaten erforderlich. Generell gilt: Je kürzer und seltener ein akustisches Ereignis ist, desto weniger Aufnahmen stehen zur Verfügung, in denen das Ereignis nicht nur vorhanden, sondern auch korrekt beschriftet ist. Lösungen für diese Herausforderung können erreicht werden, indem die exponentiell wachsende Menge an verfügbaren Daten aus allen Quellen besser genutzt wird oder indem der Bedarf an großen (anfänglichen) Trainingsdatensätzen mit einer für diesen Zweck optimierten maschinellen Lernmethode reduziert wird. Aus den folgenden Themen kann in diesem Zusammenhang gewählt werden:

Semi-überwachtes Lernen:
Es ist davon auszugehen, dass bei besonders schwer zu beschriftenden akustischen Ereignissen eine größere Menge an Daten vorhanden ist, die den Klang enthalten, aber nicht oder falsch beschriftet sind. Semi-überwachte Lernmethoden können zuverlässige Modelle für die Erkennung und Klassifizierung aus einer begrenzten Menge von beschrifteten Daten und einer großen Menge von unbeschrifteten Daten erstellen.

Inkrementelles Lernen:
Beim inkrementellen Lernen kann ein System kontinuierlich lernen und sich an neue akustische Ereignisse anpassen, ohne dass ein komplettes Neutraining erforderlich ist. Auch die Menge der anfänglichen Trainingsdaten kann überschaubar gehalten werden. Die Inkremente mit zusätzlichen Trainingsdaten können durch kontinuierliche Inferenz der Modelle auf einen großen, unbeschrifteten Datensatz gewonnen werden, so dass das System selbst neue Trainingsdaten erwerben kann.

Few-Shot-Lernen:
Der Einsatz von „few-shot learning“-Techniken ermöglicht das Training von Modellen, die mit nur wenigen Trainingsbeispielen präzise Ergebnisse liefern können. In dieser Arbeit soll eine Methode entwickelt werden, um mit einem minimalen Datensatz fahrzeugbezogene akustische Ereignisse mittels few-shot learning zu erkennen und zu klassifizieren.

Diese Arbeit bietet die Möglichkeit, an der Schnittstelle von maschinellem Lernen und akustischer Signalverarbeitung zu arbeiten. Ziel ist es, eine der genannten Methoden zur akustischen Ereigniserkennung zu erforschen und die Verwendung größerer Trainingsdatensätze ohne zusätzlichen Beschriftungsaufwand zu ermöglichen bzw. eine erhöhte Genauigkeit bei Verwendung eines kleinen verfügbaren (Trainings-)Datensatzes zu erreichen.

Your Tasks:

• Du recherchierst in der Literatur und arbeitest dich in die Thematik ein
• Du entwickelst und implementierst Methoden zur Erkennung von akustischen Ereignissen oder Anomalien
• Du analysierst und optimierst bestehende Modelle zur Erkennung und Klassifizierung von akustischen Ereignissen
• Du führst Experimente und Tests zur Validierung der entwickelten Modelle durch
• Du dokumentierst und präsentierst deine Arbeitsergebnisse

Mandatory Skills:

• Laufendes Studium der Informatik, Mechatronik, Elektrotechnik oder eines vergleichbaren technischen oder naturwissenschaftlichen Studienganges
• Programmiererfahrung in mindestens einer höheren Programmiersprache
• Sehr gute Englischkenntnisse in Wort und Schrift
• Gute Deutschkenntnisse (Niveau B2 oder höher)

Nice-to-have:

• Erfahrung oder Interesse an den folgenden Programmiersprachen / Frameworks / Tools: Python, Tensorflow, Keras, PyTorch, Kubeflow
• Kenntnisse in maschinellem Lernen, neuronalen Netzen oder Mustererkennung
• Selbstständige und strukturierte Arbeitsweise
• Lernbereitschaft, hohe Eigeninitiative sowie Kommunikations- und Teamfähigkeit

Das spricht für uns:

Als Student:in arbeitest du bei IAV nicht irgendwo, sondern mittendrin. In echten Projekten. An spannenden Zukunftsaufgaben. Voll integriert und im Schulterschluss mit IAV-Expert:innen. Viel Verantwortung und gleichzeitig viel Freiraum, um Uni und Arbeit zusammen zu bringen: So entstehen beste Perspektiven für deine berufliche Entwicklung. Bei attraktiver Vergütung nach unserem Haustarifvertrag.

Uns sind Vielfalt und Chancengleichheit wichtig. Für uns zählt der Mensch mit seiner Persönlichkeit und seinen Stärken.