Hintergrund:

Die Erfassung und Analyse von Audio- und Videodaten zur Personenzählung gewinnt durch die zunehmende Verfügbarkeit von leistungsfähigen, energieeffizienten Embedded-Systemen, die mit NPU (Neural Processing Units) ausgestattet sind, immer mehr an Bedeutung. Insbesondere für ressourcenbeschränkte Geräte wie Mikrocontroller, die in IoT-Anwendungen zum Einsatz kommen, bietet die Kombination aus konventionellen Audio-Lokalisierungsalgorithmen und klassischen Video-Objektdetektionsverfahren zur Personenzählung viel Potenzial.

Im Rahmen eines Forschungsprojekts mit der „Thermokon Sensortechnik GmbH“ untersuchen wir die Potenziale von Audio- und Video-basierten Verfahren zur Personenzählung. Diese Masterarbeit soll Bereitstellung und Optimierung dieser Algorithmen auf Embedded-Systemen, die mit NPU-Unterstützung ausgestattet sind, untersuchen. Im Fokus steht die Analyse der Laufzeit, der Speichernutzung und die Optimierung der Algorithmen, um sie ressourcenschonend und performant auf den Mikrocontrollern auszuführen.

Ziel der Masterarbeit:

Das Ziel dieser Masterarbeit ist es, die bestehenden Audio-Lokalisierungsalgorithmen und video-basierten Objektdetektionsalgorithmen zur Personenzählung auf NPU-beschleunigten Mikrocontrollern der Hersteller NXP und Rockchip bereitzustellen, zu analysieren und zu optimieren. Die Arbeit umfasst folgende Kernaufgaben:

1. Deployment und Integration der Algorithmen:

   • Deployment der vorab definierten Audio-Lokalisierungs- und Video-Objektdetektionsalgorithmen auf den Mikrocontrollern von NXP und Rockchip.

   • Integration der Algorithmen auf den NPUs der Mikrocontroller zur Hardwarebeschleunigung.

2. Rechenkomplexität und Speicherbedarf:

   • Durchführung von Laufzeitprofiling für Audio- und Video-Algorithmen, um deren Ausführungszeit und CPU- und NPU-Auslastung auf den verschiedenen Plattformen zu messen.

   • Analyse der Performance-Engpässe und Untersuchung der Effekte der NPU-Unterstützung auf die Ausführung der Algorithmen.

   • Analyse und Optimierung der Algorithmen auf den eingeschränkten Ressourcen der Embedded-Systeme.

   • Durchführung von Tests zur Validierung der Optimierungen.

3. Vergleich der Mikrocontroller:

   • Vergleich der Performance und Ressourcennutzung der Algorithmen auf den Mikrocontrollern.

   • Untersuchung der spezifischen Stärken und Schwächen der jeweiligen Hardware.

   • Erarbeitung einer Hardware-Empfehlung basierend auf den Ergebnissen der Analyse.

Voraussetzungen:

• Gute Programmierkenntnisse in C/C++ und Python.

• Interesse und Erfahrung in der hardwarenahen Entwicklung von Embedded-Systemen.

• Erfahrung mit (NPU-beschleunigten) Mikrocontrollern ist von Vorteil.

• Kenntnisse im Umgang mit Profiling-Tools und Debugging.

• Kenntnisse im Bereich der Audio- und Videoverarbeitung sind wünschenswert.

• Selbstständige und strukturierte Arbeitsweise

• Gute deutsche und englische Sprachkenntnisse in Wort und Schrift

• Teamfähigkeit und gute Kommunikationsfähigkeiten

Zusätzliche Informationen:

Bei Interesse lässt sich die obige Fragestellung mit einer Tätigkeit als Projektmitarbeiter/in im Forschungsprojekt mit themenverwandten Tätigkeiten verbinden. Eine vorherige Erstellung einer F&E-Studie zur Einarbeitung in die Fragestellung der Arbeit ist ebenso möglich.

Bei Interesse melden Sie sich bitte bei Prof. Dr. Jens-Peter Akelbein.