Springe zum Hauptinhalt

Forschung

Forschung

Mensch-Roboter-Interaktion

Unsere Forschung auf dem Gebiet der Mensch-Roboter-Interaktion umfasst die Entwicklung moderner Schnittstellen zur Überwachung und Steuerung komplexer Systeme. Dazu gehört die Mensch-Roboter-Interaktion in Form eines Teleoperationssystems für mobile Roboter (Roboterboote und Lieferroboter) unter Verwendung von VR/AR-Technologien. Diese Technologien werden auch zur Bereitstellung moderner Verkehrsleitsysteme, z.B. zur Unterstützung von Fluglotsen, eingesetzt.

In unserer Forschung soll speziell das Situationsbewusstsein der Bediener von autonomen Systemen (insbesondere autonomen Autos) verbessert werden, um komplexe Situationen zu lösen, in denen das System die Kontrolle an den Bediener zurückgeben muss. Dies geschieht mit Hilfe von KI-basierten Ansätzen und multimodalen Schnittstellen.

Ausgewählte Publikationen

  • S. Reitmann and B. Jung. 2024. "VR-based Assistance System for Semi-Autonomous Robotic Boats". In Companion of the 2024 ACM/IEEE International Conference on Human-Robot Interaction (HRI ’24 Companion), March 11–14, 2024, Boulder, CO, USA. ACM, New York, NY, USA, 5 pages. URL: https://doi.org/10.1145/3610978.3640750

  • S. Reitmann, T. Mihaylova, E. A. Topp, and V. Kyrki. 2024. "Conflict Simulation for Shared Autonomy in Autonomous Driving". In Companion of the 2024 ACM/IEEE International Conference on Human-Robot Interaction (HRI ’24 Companion), March 11–14, 2024, Boulder, CO, USA. ACM, New York, NY, USA, 6 pages. URL: https://doi.org/10.1145/3610978.3640589

  • G. Jäger, G. Licht, N. Seyffer, and S. Reitmann. "VR-based Teleoperation of Autonomous Ground Vehicles for Operation Recovery". In: 27th Ada-Europe International Conference on Reliable Software Technologies (AIEC), June 13-16, 2023, Lisbon, Portugal.

Synthetische Daten & Maschinelles Lernen

Gängige Ansätze des maschinellen Lernens (ML) zur Klassifizierung von Szenen erfordern eine große Menge an Trainingsdaten. Für die Klassifizierung von Tiefensensordaten sind jedoch im Gegensatz zu Bilddaten nur relativ wenige Datenbanken öffentlich verfügbar, und die manuelle Erzeugung semantisch beschrifteter 3D-Punktwolken ist eine noch zeitaufwändigere Aufgabe. Um die Generierung von Trainingsdaten für eine Vielzahl von Domänen zu vereinfachen, kann eine weitgehend automatisierte Generierung von semantisch annotierten Punktwolkendaten in virtuellen 3D-Umgebungen erfolgen. Klassische Tiefensensortechniken wie Light Detection and Ranging (LiDAR) und Sound Navigation and Ranging (Sonar) sind damit unter verschiedenen Umweltbedingungen (z.B. Regen- und Staubeinfluss) simulierbar. Für die Erstellung einer großen Anzahl von "Ground Truth"-Daten für überwachte Lernansätze haben wir ein Addon für Blender namens BlAInder entwickelt. Sie finden dieses Tool hier. Die semantisch beschrifteten Daten können in verschiedene 2D- und 3D-Formate exportiert werden und sind somit für verschiedene ML-Anwendungen und Visualisierungen optimiert.

Wissenschaftliche und technische Ziele bei der Analyse dieser komplexex Datensätze, bspw. geophysikalischer Daten, betreffen u.a. die Entwicklung von KI-basierten Vorhersagemethoden für die Detektion von Störungen und Grenzschichten. Diese Vorhersagen bilden die Grundlage für wesentlich effizientere Simulationen, z.B. zur Lösung von inversen Problemen im Bereich der elektromagnetischen Geophysik. Weitere Arbeiten befassen sich z.B. mit automatisierten Datenverarbeitungsabläufen zur Etablierung von modellgesteuerten maschinellen Lernpipelines unter Nutzung heterogener geologischer Datenbestände.
 

Ein weiterer Schwerpunkt umfasst die Anwendung von maschinellem Lernen in der Wissensgenerierung aus Zeitreihendaten. Arbeiten dazu haben sich mit der Anwendung neuronaler Netze (MLP, RNN/LSTM, Hybride) bei der Zeitreihenvorhersage in der Luftverkehrsprognose beschäftigt. Neben der mehrdimensionalen Modellierung konnte mit Hilfe von genetischen Algorithmen Wissen aus neuronalen Netzen extrahiert werden.

Ausgewählte Publikationen

  • S. Reitmann, L. Neumann and B. Jung. “BLAINDER—A Blender AI Add-On for Generation of Semantically Labeled Depth-Sensing Data”. In: Sensors 21.6 (2021). ISSN: 1424-8220. DOI: 10.3390/s21062144. URL: https://www.mdpi.com/1424-8220/21/6/2144.

  • S. Reitmann, M. Schultz. "An Adaptive Framework for Optimization and Prediction of Air Traffic Management (Sub-)Systems with Machine Learning". In: Aerospace. 2022; 9(2):77. DOI: 10.3390/aerospace9020077. URL: https://www.mdpi.com/2226-4310/9/2/77

  • M. Schultz, S. Reitmann and S. Alam, "Predictive classification and understanding of weather impact on airport performance through machine learning". In: Transportation Research Part C: Emerging Technologies 131 (2021), S. 103-119, ISSN 0968-090X, DOI: https://doi.org/10.1016/j.trc.2021.103119.

  • M. Schultz and S. Reitmann. “Machine learning approach to predict aircraft boarding”. In: Transportation Research Part C: Emerging Technologies 98 (Jan. 2019), S. 391–408. ISSN: 0968-090X. DOI: 10.1016/j.trc.2018.09.007. URL: http://www.sciencedirect.com/science/article/pii/S0968090X18312580.

  • M. Schultz and S. Reitmann. “Consideration of Passenger Interactions for the Prediction of Aircraft Boarding Time”. In: Aerospace 5.4 (Sep. 2018), S. 101. DOI: 10.3390/aerospace5040101. URL: https://www.mdpi.com/2226-4310/5/4/101.

 

Mobile autonome Systeme

Um virtuelle Agenten (insbesondere mobile Roboter und autonome Autos) in künstlichen Welten zu trainieren, entwicklen wir Konzepte, um sie in geeignete Umgebungen zu bringen und die dort trainierte KI nach außen zu übertragen. Zu diesem Zweck werden Game-Engine-Simulationen verwendet und mit klassischen Frameworks (ROS) verbunden. Im Rahmen unserer Forschung entwicklen wir Frameworks für diese Engines, um eine Interferenzmaschine für KI zu schaffen. Die Agenten werden durch Verstärkung und überwachtes Lernen mit synthetischen Trainingsdaten trainiert. Um eine ausreichende virtuelle Umgebung zu schaffen, werden verschiedene Umweltphänomene und Objekte einbezogen, z. B. Fischschwärme, Wasserphysik und Umwelteinflüsse auf Sensorsysteme (z. B. Salzgehalt, Nebel).

Ausgewählte Publikationen

  • S. Pose, S. Reitmann, G. J. Licht, T. Grab and T. Fieback. "AI-Prepared Autonomous Freshwater Monitoring and Sea Ground Detection by an Autonomous Surface Vehicle". In: Remote Sensing. 2023; 15(3):860. DOI: 10.3390/rs15030860. URL: https://www.mdpi.com/2114402