R2M2 - Roboter-Robeter-Mensch-Motion (BPSE WS18)

Bachelor PSE WS18/19 kompakt: R2M2 - Roboter-Roboter-Mensch-Mimik

Projektbeschreibung

Aktuelle Robotersysteme werden immer intelligenter. Die hierfür verwendeten eingebetteten Systeme verfügen über deutlich bessere technische Fähigkeiten, so dass sich eine abstraktere Programmierung komplexer Bewegungssteuerungen verbunden mit einer Vielfalt von sensorischen Fähigkeiten erreichen lässt. Die Interaktion zwischen Menschen und Robotern sowie von Robotern untereinander tritt damit immer mehr als Experimentierfeld für zukünftige Anwendungen in den Vordergrund.

Interaktionsfeld Mensch-Roboter

Im Rahmen einer Maßnahme zur Qualitätssteigerung der Lehre stehen unterschiedliche Robotersysteme zur Verfügung, mit denen wir nun ein Interaktionsfeld zwischen Robotern und Menschen schaffen und erproben wollen. Hiermit lassen sich die unterschiedlichen Eigenschaften und Fähigkeiten von Robotern miteinander vergleichen. Insbesondere besteht so auch die Möglichkeit, die Interaktion von Robotern untereinander zu erproben und durch menschliche Gesten und Mimik zu steuern.

Die Roboter

Zur Verfügung haben wir Roboter mit sehr unterschiedlichen Eigenschaften. Mit zwei humanoiden NAO-Robotersystemen, die bereits mit einer Vielzahl von Sensoren (u.a. zwei HD-Kameras) ausgestattet sind, können wir die Interaktion mit humanoiden Systemen erproben. Weiterhin haben wir als kleine Robotersysteme vier Sphero-Roboterbälle und vier Cozmo KI-Roboter, die sich mittels Bluetooth steuern lassen.

Gesten und Mimik erkennen

Gedacht ist, durch zusätzliche stationäre oder auf den Robotern montierte Kameras mit Funkübertragung den Blick aus Robotersicht oder von anderer Position aufzunehmen und die Bewegtbilder anschließend in einem externen Rechner zu verarbeiten. So können wir unterschiedliche Algorithmen zur Erkennung von Gesten und Mimik verwenden und erproben. Die NAO-Systeme haben selbst schon Kameras integriert, deren Sichten durch das integrierte Embedded System verarbeitbar sind.

Als Systemprojekt

In einem Kick Off werden wir zu Beginn gemeinsam unterschiedliche Szenarien diskutieren, um die zu entwickelnden Szenarien festzulegen. Während der Projektphase sollen ausgewählte Vorgehensweisen aus SCRUM verwendet werden, die euch in der Durchführung unterstützen und mit denen ihr die Zusammenarbeit als Projektteam selbst gestaltet. Weiterhin unterstützt die TES Electronic Solutions GmbH als Industriepartner das Projekt, deren Begleitung uns anwendungsnahe Fragestellungen und die Verwendbarkeit von Software der TES bietet. Am Ende demonstriert ihr euer geschaffenes Projektergebnis in einer Abschlußpräsentation.

Von der kreativen Idee zum Projekt

Zu Beginn könnt ihr eure kreativen Ideen über zu entwickelnde Szenarien mit einbringen. Hieraus soll ein Projekt mit einer festgelegten Projektlaufzeit definiert werden. Sind die Ideen und Vorstellungen in der Projektlaufzeit umsetzbar? Daran macht ihr als Team euer Projektziel fest. Anschließend übernehmen wir die Rolle des Auftraggebers, der das Projektziel umgesetzt haben möchte. Wie bei Projekten in der Praxis üblich, werdet ihr im Projektverlauf vermutlich Änderungsbedarf an den Projektzielen erkennen und könnt den Umgang damit üben. Besonders schön wäre als Ergebnis eine Demonstration, die wir bei passender Gelegenheit wieder aufbauen und z.B. Besuchern unseres Fachbereichs vorstellen können.

Vorkenntnisse

Hilfreiche Vorkenntnisse sind gute Programmierkenntnisse, Grundlagen der Grafischen Datenverarbeitung, Grundlagenveranstaltungen der Technischen Informatik sowie Softwareentwicklung für Embedded Systeme.

Wir freuen uns auf ein spannendes Projekt mit Euch!

Die Termine

Blockveranstaltung am Ende der vorlesungsfreien Zeit im September

Kickoff-Veranstaltung: 6.9.
Projektphase: 10.-21.9.
Abschlusspräsentation 26.9.

Dozenten des Systemprojekts

Prof. Dr. Jens-Peter Akelbein - Laborleitung Embedded Systems Technology (EST)
Björn Frömmer - Lehrbeauftragter Comuter Graphics, Image Processing, Natural User Interfaces, Virtual Reality

unterstüzt durch

Mario Hoss - wissenschaftl. Mitarbeiter
Bettina Kurz-Kalweit - wissenschaftl. Mitarbeiterin und Laboringenieurin EST

Ergebnisse Gruppen 1 + 2

Gruppen-Ziele mit humanoidem Roboter NAO und Sphero SPRK+

- NAO erkennt,lokalisiert und verfolgt Sphero

- NAO erkennt Farben und Gesten von Sphero...

- ... und führt anhand Dieser verschiedene Aktionen durch

Gruppe 1 hat die zusätzliche Anforderung, dass die NAO eigene Kamera nicht verwendet werden kann.

Ergebnis Gruppe 3

Das Projektziel der Gruppe 3 des R2M2 Projekts ist es, den Sphero SPRK+ mittels iOS Augmented Reality App zu steuern. Der Sphero SPRK+ soll nach einer Touch Geste in der iOS App auf einen Platz in den Raum fahren. Die Augmented Reality Eigenschaft wird mittels Apples ARKit erreicht. Diese ARKit bietet die Möglichkeit, ein Koordinatensystem mit Planes zu erstellen und Objekte zu erkennen/tracken.

 

Ergebnis Gruppe 4

Anki Cozmo als Coztbote

Die Idee ist die Simulation einer Stadt, in der Postpakete ausgeliefert werden müssen. Hierzu werden bestimmte Stellen in der Stadt als Häuser markiert und eine Stelle wird als Paketlager bestimmt. Die Aufgabe des Roboters ist es dann, die Pakete beim richtigen Haus abzuliefern.
Die Zuordnung von Paketen zu Häusern wird mittels Gesichtserkennung umgesetzt: sowohl auf den Würfeln (den Paketen) als auch auf den Häusern werden Fotos mit Gesichtern angebracht.
Es stellte sich heraus, dass man die Gesichter nicht auf die Würfel kleben muss, sondern der Roboter sich die Gesichter merkt und sie einem bestimmten Würfel (Paket) dauerhaft zuordnen kann.

Kontakt

Forschungsleiter
Prof. Dr. Jens-Peter Akelbein