Mithilfe eines „Living Lab“-Workshops sollen zunächst Ideen für die gewünschte Mensch-Roboter-Interaktion sowie (un-)erwünschte Szenarien gesammelt werden. Außerdem sollen für die Kommunikation relevante Gesten sowie Verhaltensweisen beschrieben werden. Darauf aufbauend wird ein Dialogsystem entwickelt, dass sowohl non-verbale (Touch-Bildschirm, Gestensteuerung) als auch verbale (Sprachsteuerung) Interaktionsformen integriert. Im Rahmen weiterer „Living Lab“-Workshops wird das Dialogsystem evaluiert und fortentwickelt.

Beginnend mit der Erkennung zweidimensionaler Skelette aller in einem Bereich vorhandenen Personen, wird die Menscherkennung weiterentwickelt, sodass dreidimensionale Skelette erzeugt, Personen wiedererkannt und korrekt zugeordnet, sowie die Blickrichtung erfasst werden können. Im weiteren Verlauf werden die, im Arbeitsfeld 1 als interaktionsrelevant definierten, Gesten und Verhaltensweisen untersucht und daraus eine definierte Menge von Bewegungen mit Relevanz für die Auswahl der Interaktionsform und der Interaktion erzeugt.

Realisierung eines 3D-Umgebungsmodells in das mittels eigens entwickelter Bildverarbeitungsalgorithmen die semantischen Informationen der komplexen Einkaufsmarktumgebung integriert werden, sodass in Echtzeit implizites und explizites Umgebungswissen über den Einkaufsmarkt zur Verfügung gestellt werden kann. Mit dem so gewonnen situativen Kontext werden die im vorherigen Arbeitsfeld spezifizierten Bewegungsmerkmale einer finalen Deutung im Rahmen der Interaktion zugeführt. Um eine flüssige Interaktion zu gewährleisten ist abschließend die Einbeziehung von Prädiktion in die Verhaltenserkennung des Menschen vorgesehen.

Zunächst erfolgt, auf Grundlage einer Sensordatenfusion von Laser-, Ultraschall- und RGB-D-Sensoren, die Umsetzung der grundlegenden Navigationsfähigkeiten Lokalisierung, Pfadplanung und Trajektorienausführung mit Hindernisvermeidung für eine statische Umgebung. Diese Fähigkeiten werden im Rahmen des Arbeitsfeldes erweitert und unter Einbeziehung der Forschungsergebnisse aus den Arbeitsfeldern 2 & 3 wird eine kollisionsvermeidende Navigation in dynamischen Umgebungen realisiert.