Hintergrund:

Die Erfassung und Analyse akustischer Ereignisse hat in den letzten Jahren dank Fortschritten in der Signalverarbeitung und des maschinellen Lernens an Bedeutung gewonnen. Insbesondere im Kontext des Internet of Things (IoT) eröffnen neue, eingebettete und vernetzte Geräte innovative Möglichkeiten zur Überwachung und Steuerung der Umgebung.

Im Bereich der Gebäudetechnik wird zunehmend auf datenschutzkonforme Methoden gesetzt, um mittels unauffälliger Audiosensorik die Anwesenheit und Anzahl von Personen in Räumen zu ermitteln. Solche Informationen können beispielsweise genutzt werden, um die Steuerung von Klimaanlagen effizienter zu gestalten und Energie einzusparen.

Im Rahmen eines Forschungsprojekts mit der „Thermokon Sensortechnik GmbH“ untersuchen wir die Potenziale von Audio-basierten Verfahren zur Personenzählung. Ziel ist es, Sprachereignisse als Grundlage für die Ermittlung der Personenanzahl zu nutzen. Dabei steht die Detektion, Klassifikation und Analyse von Sprachsignalen im Vordergrund, um ein zuverlässiges und ressourcenschonendes System zu entwickeln.

Ziel der Masterarbeit:

Das Ziel dieser Masterarbeit ist die Untersuchung und das Training von Machine-Learning-Modellen, die in der Lage sind, Sprachereignisse in Audiosignalen zuverlässig zu erkennen und zu klassifizieren. Damit soll eine robuste Grundlage für die präzise Personenzählung geschaffen werden. Im Rahmen der Arbeit fallen folgende Kernaufgaben an:

1. Datenaufbereitung und -analyse:

   • Sammlung und Vorverarbeitung von Audiodaten, insbesondere Sprachereignissen, unter Berücksichtigung von Umgebungsgeräuschen.

   • Untersuchung geeigneter Datenformate

2. Modelltraining:

   • Vergleich modernen neuronaler Netzarchitekturen (z.B. Convolutional Neural Networks oder Recurrent Neural Networks) zur Detektion von Sprachereignissen

   • Auswahl eines oder mehrerer geeigneter Modelle z.B. Google YAMNet unter Berücksichtigung der Hardware-Anforderungen eingebetteter Systeme

   • Implementierung und Durchführung des Trainingsprozesses mithilfe einer passenden Machine-Learning-Bibliothek und eines geeigneten Datensatzes.

3. Klassifikation:

   • Integration eines Klassifikators, der Sprachereignisse nach relevanten Merkmalen unterscheidet, um eine Zuordnung und damit Zählung von Personen zu ermöglichen.

4. Evaluation:

   • Test und Validierung der entwickelten Modelle anhand realer Datensätze.

   • Auswahl geeigneter Metriken um Aussagen über Genauigkeit, Robustheit und Effizienz treffen zu können.

5. Optimierung für eingebettete Systeme:

   • Anwendung von Techniken zur Optimierung der Modelle für ressourcenbeschränkte Geräte.

   • Profiling der Modelle auf NPU-beschleunigten Mikrocontrollern z.B. NXP, Rockchip

Voraussetzungen:

• Gute Programmierkenntnisse in Python, Kenntnisse in C/C++ für eingebettete Systeme von Vorteil.

• Erfahrung im Bereich maschinelles Lernen sowie Interesse an Audiosignalverarbeitung.

• Erfahrung im Umgang mit maschinellen Lernbibliotheken (z. B. TensorFlow, PyTorch, Scikit-learn) ist wünschenswert.

• Selbstständige und strukturierte Arbeitsweise

• Gute deutsche und englische Sprachkenntnisse in Wort und Schrift

• Teamfähigkeit und gute Kommunikationsfähigkeiten

Zusätzliche Informationen:

Bei Interesse lässt sich die obige Fragestellung mit einer Tätigkeit als Projektmitarbeiter/in im Forschungsprojekt mit themenverwandten Tätigkeiten verbinden. Eine vorherige Erstellung einer F&E-Studie zur Einarbeitung in die Fragestellung der Arbeit ist ebenso möglich.

Bei Interesse melden Sie sich bitte bei Prof. Dr. Jens-Peter Akelbein.