Förderung:
Beschreibung:
The goal of this research project is to simulate integrative cognitive models of the human brain as developed in other projects to investigate the performance of cognitive agents interacting with their environment in virtual reality. Each agent has human-like appearance, properties and behavior. Thus, this project establishes a transfer of brain-like algorithms to technical systems.
System
The neuronal agents and their virtual environment (VR) are simulated on a distributed and specialized device. The agents have all main abilities of a human, they are capable to execute simple actions like moving or jumping, to move their eyes and their heads and to show emotional facial expressions. Agents learn their behavior autonomously based on their actions and their sensory consequences in the environment. For this purpose, the VR-engine contains a rudimentary action- and physic-engine. Small movements (like stretching the arm) are animated by the VR-engine, while the neuronal model rather controls high-level action choices like grasping a certain object.
To investigate the interactions of the neuronal agents with human users, the world will include user-controlled avatars. The persons will be able to receive sensory information by appropriate VR-interfaces, for example visual information will be provided by a projection system. The users will also be able to interact with the environment, the necessary movement information will be gathered by tracking their face and their limbs. This face tracking is especially used to detect the emotions of the user to investigate the emotional communication between humans and neuronal agents.
Technically, the device consists of several sub parts: a virtual reality engine, a neurosim cluster simulating the agents brain and an immersive projections system to map the human users to avatars. The cluster itself will be able to simulate several neuronal models in parallel which allows us to use multi-agent setups.The cluster will consist of the NVidia CUDA acceleration cards (hardware layer) and the neuronal simulator framework ANNarchy (software layer).
"Vision and Memory" setup originally developed in the EU SpaceCog project (FP7, Future Emerging Technologies: Neuro-bio-inspired systems) and further improved within the initiative Productive Teaming The task of the v(irtual) Felice is to walk from a position at the entry of the room to a predefined object, localise and memorise it. She then walks to a different position in the room. From there, she recalls where the object is located, walks back to it and performs an object localization, guided by spatial attention. Large parts in this simulations are based on a brain inspired neural network including the hippocampus, the ventral and dorsal visual streams for object perception and the frontal eye fields for gaze shifting.
Publikationen:
- Burkhardt, M., Bergelt, J., Goenner, L., Dinkelbach, H.Ü., Beuth, F., Schwarz, A., Bicanski, A., Burgess, N., Hamker, F.H. (2023)
A Large-scale Neurocomputational Model of Spatial Cognition Integrating Memory with Vision
Neural Networks, doi: 10.1016/j.neunet.2023.08.034
Beteiligte Professuren:
Homepage: https://www.tu-chemnitz.de/informatik/KI/projects/agents-vr/
Förderung:
Beschreibung:
Wir erforschen die Wahrnehmung von und die Interaktion mit Nutzern bionischer, verkörperter digitaler Technologien (embodied digital technologies – EDTs). Wir sammeln Daten zur Eigen- und Fremdwahrnehmung von EDT-Nutzern in qualitativen Interviews und Fragebogenstudien. Parallel dazu entwickeln wir ein DR/AR-System zum Ersetzen von Körperteilen durch bionische Prothesen in virtueller Realität. In diesem DR/AR-System wollen wir Experimente zur Wahrnehmung von EDT-Nutzern durchführen. Im weiteren Projektverlauf sollen die technischen Möglichkeiten zur Ersetzung von Körperteilen innerhalb der VR-Umgebung ausgebaut werden für Experimente zur Interaktion mit Nutzern bionischer EDTs und für Verhaltensanalysen.
Publikationen:
- Rudolph, C., Brunnett, G., Bretschneider, M., Meyer, B. & Asbrock, F. (2023). TechnoSapiens: merging humans with technology in augmented reality. Vis Comput. https://doi.org/10.1007/s00371-023-02829-7.
Beteiligte Professuren:
- Professur Graphische Datenverarbeitung und Visualisierung
- Professur für Arbeits-, Organisations- und Wirtschaftspsychologie
- Professur Sozialpsychologie
Homepage: https://hybrid-societies.org/research/b03/
Förderung:
Beschreibung:
Das Projekt konzentriert sich auf die Gestaltung und Steuerung von Avatar-Bewegungen mit der Absicht, unerwünschte Bewegungsmerkmale zu verschleiern. Erfasste Bewegungen werden analysiert, um die wichtigsten kinematischen Parameter individueller (sowie geschlechts- und altersspezifischer) Bewegungsmuster des Gangs, Sitzens, und deren Übergänge zu identifizieren. Basierend auf diesen Erkenntnissen wird ein parametrischer Bewegungsgenerator entwickelt, mit dem Bewegungen nach den Wünschen des Nutzers erstellt und geändert werden können. Wir werden sowohl das entwickelte Modell als auch die Wahrnehmung der generierten Bewegungscharakteristika in Nutzerstudien evaluieren.
Publikationen:
- Uhlmann, T. & Brunnett, G. (2022). Dual-IMU-WIP: An easy-to-build Walk-in-Place System based on Inertial Measurement Units. In: 2022 IEEE 9th International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA). IEEE, pp. 1–5. https://doi.org/10.1109/CIVEMSA53371.2022.9853693.
Beteiligte Professuren:
Homepage: https://hybrid-societies.org/research/b02/
Förderung:
Beschreibung:
Viele Alltagssituationen, in denen Menschen von robotischen Systemen unterstützt werden können, sind aufgrund ihrer Dynamik und Komplexität schwer vorhersehbar. Die Interaktion von Menschen und Robotern in solchen Situationen ist bislang nicht zufriedenstellend. Das im Projekt betrachtete Einkaufsszenario steht stellvertretend für eine Situation, in der unterschiedliche Personengruppen auf Unterstützung angewiesen sein können.
Ziele und Vorgehen
Zur Entwicklung und Umsetzung eines situativ anpassbaren Interaktionskonzeptes wird in „I-RobEka“ ein autonomer mobiler Roboter als Einkaufshilfe modifiziert. Eine Spracherkennung wird zusammen mit einem berührungs‐und gestenbasierten Interaktionsmodul umgesetzt, Sensordaten ermöglichen das Erkennen von Menschen und ihren Intentionen. Navigation und Steuerung werden auf Grundlage standardisierter Betriebssysteme realisiert. So soll der Roboter Menschen in Einkaufssituationen begleiten, Handlungsanweisungen verstehen können und bedarfsgerecht unterstützen.
Innovationen und Perspektiven
Das Projekt verspricht einen deutlichen Erkenntniszuwachs für den Einsatz mobiler robotischer Assistenzen im Alltag. Der Lebensmitteleinzelhandel könnte sich zu einer Schlüsselanwendung für interaktionsfähige Roboter entwickeln, da die umsatzstarke Branche mit einer Vielzahl von Filialen ein hohes Marktpotenzial verspricht. Gleichzeitig bietet das Einkaufsszenario die Möglichkeit, Interaktionsstrategien zu entwickeln, die auch auf viele andere Anwendungen übertragbar sind.
Publikationen:
- Lingenbrinck, J., Börner, A., Brunnett, G., Neuhaus, R. & Dörrenbächer, J. (2023). From the Lab to a Real-World Supermarket—Anticipating the Chances and Challenges of a Shopping Robot. In: Meaningful Futures with Robot. Designing a New Coexistence, Chapman & Hall/CRC Artificial Intelligence and Robotics Series. Taylor & Francis, pp. 155–160. https://doi.org/10.1201/9781003287445-16.
Beteiligte Professuren:
Förderung:
Beschreibung:
Wie sieht die Zukunft der digitalen Kommunikation aus? Eine mögliche Antwort darauf gab der Beauftragte für Digitales und Staatssekretär für Wirtschaft, Arbeit und Verkehr, Stefan Brangs, bei der Eröffnung des "forum sachsen digital 2017" in Leipzig. Er ließ sich nämlich nicht nur persönlich blicken, sondern auch als virtuelles Menschmodell.
Mit „Sachsen Digital“ hat der Freistaat Anfang 2016 als eines der ersten Bundesländer einen strategischen Rahmen für die aktive Gestaltung der Digitalisierung vorgelegt. Die Federführung für die Strategie liegt beim Beauftragten für Digitales im Freistaat Sachsen im Sächsischen Staatsministerium für Wirtschaft, Arbeit und Verkehr (SMWA). Die Strategie fokussiert auf Bereiche, in denen der Freistaat die Gestaltungskompetenz zur Schaffung geeigneter Rahmenbedingungen besitzt – sei es durch Gesetze, Verordnungen, Förderprogramme oder die Unterstützung von Vorhaben.
Im Rahmen der jährlichen Konferenz „forum sachsen digital“ diskutieren die Gäste in exklusiven Runden an insgesamt 20 Themeninseln zu den Auswirkungen der Digitalisierung auf Industrie und Handwerk, Tourismus, Verwaltung, Landwirtschaft, Schul- und Hochschulbildung und Kultureinrichtungen. Inhaltlich geht es u. a. um die Stadt der Zukunft, die Digitalisierung im Energiebereich, um künftige Formen der Bürgerbeteiligung, Open Data und die digitale Infrastruktur.
Im Jahr 2017 war auch die Technische Universität Chemnitz erstmalig dort präsent. Timon Zietlow, Wissenschaftlicher Mitarbeiter der Professur Grafische Datenverarbeitung und Visualisierung, hält auf der Konferenz einen Kurzvortrag zum Thema „Digital Human – Motion Capturing made in Chemnitz“. Er zeigt auf, wie am Kompetenzzentrum „Virtual Humans“ simulationsreife Menschmodelle per Motion Capturing erstellt werden können.
Im Vorfeld wurde Staatssekretär Brangs im Labor des Kompetenzzentrums "Virtual Humans" der Technischen Universität Chemnitz mit einem photogrammetrischen Bodyscanner digitalisiert. Das heißt, sein Körper wurde aus allen Blickwinkeln erfasst und in ein dreidimensionales Modell gewandelt. Durch Aufzeichnung seiner Bewegungen mittels optischen Motion Capturing entstand daraus ein simulationsreifes Menschmodell, das sich in einer virtuellen Umgebung bewegen und interagieren kann. Anschließend schlüpfte er in einen Motion Capture Anzug, um seine Bewegungen aufzuzeichnen. So entstand ein digitales Menschmodell, das sich wie sein reales Vorbild bewegen kann. Als Ergebnis entstand ein Kurzfilm, in dem der digitale Stefan Brangs ein Grußwort an die Gäste des Forums richtete.
Die technische Ausstattung und wissenschaftliche Expertise des Kompetenzzentrums erlauben es, dass der gesamte Prozess von der Digitalisierung bis zur Simulation in der Anwendung gezeigt werden kann. „Die Forschung hier in Chemnitz zeigt, dass die Digitalisierung kein Schreckgespenst sein muss. Vielmehr kann Sie unseren Alltag in Zukunft an vielen Punkten erleichtern und uns dabei helfen, bis ins hohe Alter selbständig zu leben“, so Staatssekretär Stefan Brangs, Beauftragter der Staatsregierung für Digitales. „Es ist schön zu sehen, dass wir hier in Sachsen so hochqualifizierte Forscher haben, die die Vorteile der Digitalisierung zu nutzen wissen.“
Förderung:
Beschreibung:
Wir nutzen unsere Hände, um auf Personen oder Gegenstände zu zeigen. Wir verwenden sie auch, um Informationen über Größe, Form und Anzahl von Objekten sowie um zeitliche Charakteristika von Bewegungen zu vermitteln. Wir bewegen und formen mit unseren Händen Gegenstände und nutzen unsere Hände um präzise Handlungen am Arbeitsplatz aus-zuführen. Diese Beispiele zeigen, welche wichtige Rolle Hände in unserem Alltag und der Arbeitswelt spielen. Deshalb hat eine Software, welche in der Lage ist, den Vorgang vom Verfolgen von menschlichen Gesten über deren mathematischen Repräsentationen bis hin zur Umwandlung in semantisch bedeutsame Befehle zu übernehmen, ein großes Innovationspotential in Industrie und Forschung. Solch ein Handgestenerkennungssystem stellt das Herzstück intelligenter Anwendungen von der automatischen Mensch-Computer-Interaktion über Robotik bis hin zur Verarbeitung natürlicher Sprache dar. Diese Art der berührungslosen Gestenerkennung erlaubt es, virtuelle Objekte zu bewegen, auszuwählen und zu verändern ohne dabei ein Eingabegerät zu berühren. Die Interaktion wird freihändig allein durch die Bewegung der eigenen Hand erfolgen. Amin Dadgar arbeitet in seiner Promotion an der Entwicklung eines Systems zur markerlosen Erkennung von Hand- und Fingergesten und dessen Verifikation anhand von zwei Anwendungsfällen. Das System soll erstens für die Steuerung eines Roboterarms eingesetzt werden und zweitens im Operationssaal einer Klinik zum Einsatz kommen. In beiden Fällen wird ein Gestenvorrat erhoben, der die Tätigkeiten der beiden Anwendungsbereiche umfasst. Dieser Gestenvorrat wird so entwickelt, dass er für möglichst viele der Unternehmen in der Automobilindustrie, im Maschinenbau, der Medizintechnik und ähnlichen Branchen in Sachsen relevant ist. Der Europäische Sozialfonds und das Land Sachsen fördern die Promotion von Amin Dadgar mit einem Landesinnovationspromotionsstipendium.
Publikationen:
- Dadgar, A. & Brunnett, G. (2019). Topolet: From Atomic Hand Posture Structures to a Comprehensive Gesture Set. In: Proceedings of the 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. SCITEPRESS - Science and Technology Publications, pp. 157–164. https://doi.org/10.5220/0007244701570164.
- Dadgar, A. & Brunnett, G. (2020). SaneNet: Training a Fully Convolutional Neural Network Using Synthetic Data for Hand Detection. In: 2020 IEEE 18th World Symposium on Applied Machine Intelligence and Informatics (SAMI). IEEE, [S.l.], pp. 251–256. https://doi.org/10.1109/SAMI48414.2020.9108749.
Förderung:
Beschreibung:
Das Projekt eMAN III ist die Fortsetzung der Forschungsagenda aus den Projekten eMAN I und II.
Aktuell bieten digitale Menschmodelle Möglichkeiten zur Bewegungsmodellierung nur durch das aneinanderreihen von Bewegungsbausteinen. Die Bewegungen wirken deshalb häufig „roboterhaft“. Natürliche Abweichungen aus den Bewegungspfaden, durch z.B. Ermüdung, erhöhte Lasten oder natürliche Streuung, werden nicht berücksichtig. Eine Idee diese besser zu berücksichtigen basiert auf der Modellierung von wirkenden Gelenkmomenten.
Ziel des Projektes ist es, Verfahren zur automatischen Bewertung von Ermüdungserscheinungen für indust-rielle Fertigungstätigkeiten zu entwickeln. Dafür entstehen Modell-Methoden, welche die Modellierung parametrisierbar machen.
Den Ausgangspunkt bilden Motion Capture Daten verschiedener Ausführungen einer Verrichtung.
Dazu wurden Probekörper für verschiedene Verrichtungen entwickelt um exakte Parametrisierung der elementaren Bewegungen zu ermöglichen. Anhand von annotierten Parameterwerten wurde anschließend ein stetiger Bewegungsraum erzeugt. Diese Art der Generierung bietet zwei wesentliche Vorteile. Zum einen sind die ausgeführten Bewegungen mathematisch und humanmotorisch korrekt, zum anderen wirken die visualisierten Bewegungen natürlicher (im Vergleich zu Bewegungen aktueller virtueller Menschmodelle).
Darauf aufbauend wurde ein Modul entwickelt, welches kooperatives Arbeiten mehrerer virtueller Werker ermöglicht. Hierin werden die virtuellen Werker sowie die beteiligten Werkstücke als dynamisches Gesamtsystem betrachtet. Ein intelligenter Steuerungsalgorithmus plant in einem ersten Schritt die Bewegungspfade der beteiligten Teilsysteme. Anschließend berechnet der entwickelte Motion-Space Ansatz aus gegebenem Pfad und den Interaktionspunkten der Werkstücke eine Bewegung. Die Basis bildeten wieder aufgezeichente Bewegungen von fünf Probanden verschiedener Altersklassen und anthropometrischer Werte.
Publikationen:
- Kronfeld, T. & Brunnett, G. (2019). An Electro-Mechanical Input Device for the Manipulation of Virtual Human Motion. CAD&A 16, 6, pp. 1070–1083. https://doi.org/10.14733/cadaps.2019.1070-1083.
- Winter, M., Kronfeld, T. & Brunnett, G. (2018). Semi-Automatic Task Planning of Virtual Humans in Digital Factory Settings. CAD&A 16, 4, pp. 688–702. https://doi.org/10.14733/cadaps.2019.688-702.
- Zhang, L. & Brunnett, G. (2016). Combining inverse blending and Jacobian‐based inverse kinematics to improve accuracy in human motion generation. Computer Animation & Virtual 27, 1, pp. 3–13. https://doi.org/10.1002/cav.1615.
- Kronfeld, T., Fankhänel, J. & Brunnett, G. (2014). Representation of Motion Spaces Using Spline Functions and Fourier Series. In: Mathematical Methods for Curves and Surfaces, Lecture Notes in Computer Science. Springer Berlin Heidelberg, Berlin, Heidelberg, pp. 265–282. https://doi.org/10.1007/978-3-642-54382-1_16.
- Rau, C. & Brunnett, G. (2013). GPU-accelerated Real-time Markerless Human Motion Capture. In: GRAPP & IVAPP 2013: Proceedings of the International Conference on Computer Graphics Theory and Applications and International Conference on Information Visualization Theory and Applications, Barcelona, Spain, 21-24 February, 2013. SciTePress, pp. 397–401. https://doi.org/10.1109/TMM.2012.2225040.
Beteiligte Professuren:
Das Projekt ist eine Kooperation zwischen der imk automotive GmbH, dmc-ortim GmbH, der Professur für Arbeitswissenschaft und Innovationsmanagement, der Professur für Graphische Datenverarbeitung und Visualisierung und dem Institut für Mechatronik.
Förderung:
Beschreibung:
Die Qualität kooperativer Arbeit an technischen Systemen wird wesentlich durch die Qualität der Kom-munikation und Interaktion zwischen den handelnden Personen bestimmt. Die Absicherung von Arbeitsqualität und -produktivität sowie die Vermeidung von Systemausfällen durch Fehlbedienung beinhalten somit sowohl technische als auch psychologische und soziologische Fragestellungen. Insbesondere in Tätigkeitsfeldern, bei denen menschliches Versagen weitreichende Konsequenzen haben kann, besteht deshalb ein erhebliches Interesse an der Entwicklung von Assistenzsystemen zur Unterstützung des kooperativen Arbeitsprozesses. Von einem solchen System wird erwartet, dass es den emotionalen Zustand der Individuen und den Gesamtzustand des Teams beurteilen und in Grenzen auch vorhersagen kann, um kritische Situationen im Vorfeld zu vermeiden. Gegenstand des beantragten Projektes ist die Entwicklung grundlegender Methoden und Verfahren, die für die Realisierung eines Assistenzsystems für die Teamarbeit an technischen Systemen benötigt werden. Als prototypisches Szenario betrachten wir die Tätigkeit von Centerlotsen im Bereich der Flugüberwachung, die in der Abstimmung des Flugverkehrs besteht.
Das Kompetenzzentrum ‚Virtual Humans‘ warb die Mittel für dieses Projekt bei der BMBF-Förderinitiative InterEmotio („Vom technischen Werkzeug zum interaktiven Begleiter – sozial- und emotionssensitive Systeme für eine optimierte Mensch-Technik-Interaktion“) ein, welche Teil der Hightech-Strategie 2020 der Bundesregierung ist. An dem interdisziplinären Projekt sind sechs Professuren beteiligt.
Publikationen:
- Brunnett, G., Eibl, M., Hamker, F., Ohler, P. & Protzel, P. (2018). StayCentered - Methodenbasis eines Assistenzsystems für Centerlotsen (MACeLot). Chemnitzer Informatik-Berichte CSR-18-03, Chemnitz. https://doi.org/707982.
- Truschzinski, M., Betella, A., Brunnett, G. & Verschure, P. F. M. J. (2018). Emotional and cognitive influences in air traffic controller tasks: An investigation using a virtual environment. Applied ergonomics 69, pp. 1–9. https://doi.org/10.1016/j.apergo.2017.12.019.
- Pfeiffer, L., Sims, T. & Rosenthal, P. (2017). Visualizing Workload and Emotion Data in Air Traffic Control - An Approach Informed by the Supervisors Decision Making Process. In: ACHI 2017. The Tenth International Conference on Advances in Computer-Human Interactions, pp. 81–87.
Beteiligte Professuren:
Förderung:
Beschreibung:
Das Projekt fokussiert auf der Entwicklung eines virtuellen Avatars für die Forschung im Bereich Hoch-leistungssport. Ziel des Forschungsvorhabens ist es, einen Prototyp eines virtuellen und interaktiven Menschmodells zu entwickeln, mit dessen Hilfe die Wahrnehmung und Fähigkeit von Leistungsportlern bestimmt und trainiert werden kann. In der sportwissenschaftlichen Antizipationsforschung werden Untersuchungen in einer möglichst realitätsnahen Umgebung durchgeführt, um eine möglichst realisti-sche Reaktion der Probanden (Sportler) hervorzurufen. Auf diesem Gebiet bietet sich der Einsatz der Virtuellen Realität (VR) an, da die VR folgenden Vorteile bietet: Dreidimensionalität (räumliches Emp-finden durch zusätzliche Tiefeninformation), eine hohe ökologische Validität, Standardisierung, eine gute Kontrollierbarkeit und die Möglichkeit der gezielten Manipulation ausgewählter Parameter (bspw. die Realisierung von räumlicher und zeitlicher Okklusion). Der Nachteil bisheriger VR-Messplätze besteht jedoch in der mangelnden Flexibilität und Interaktivität der Systeme. Dies bedeutet, dass ausschließlich eine vorgegebene Avatarbewegung ausgeführt werden kann. Hinzu kommt, dass der Avatar weder auf die Bewegung bzw. Reaktion noch auf eine veränderte Position des Probanden reagieren kann.
Im Projekt wurde ein interaktiver Gegner auf der Grundlage eines Regelsystems aus Motion-Capture-Daten entwickelt, der sowohl die gewünschte Flexibilität, Autonomie und eine kurze Reaktionszeit besitzt, als auch über ein realistisches Aussehen verfügt. In der Evaluationsphase wurden die Reaktionen der Probanden (reale Athleten) auf Gegner unter verschiedenen Bedingungen miteinander verglichen: Reaktionen auf den hier erstellten interaktiven virtuellen Charakter, auf einen nicht interaktiven virtuellen Gegner und auf einen realen Gegner.
Publikationen:
- Petri, K., Witte, K., Bandow, N., Emmermacher, P., Masik, S., Dannenberg, M., Salb, S., Zhang, L. & Brunnett, G. (2018). Development of an autonomous character in karate kumite. In: Proceedings of the 11th International Symposium on Computer Science in Sport (IACSS 2017). Springer, pp. 124–135. https://doi.org/10.1007/978-3-319-67846-7_13.
- Zhang, L. & Brunnett, G. (2018). Efficient dynamic alignment of motions. Chemnitzer Informatik-Berichte CSR-18-02. Technische Universität Chemnitz, Chemnitz. https://doi.org/233521.
- Zhang, L., Brunnett, G., Petri, K., Danneberg, M., Masik, S., Bandow, N. & Witte, K. (2018). KaraKter. An autonomously interacting Karate kumite character for VR-based training and research. Computers & graphics 72. https://doi.org/10.1016/j.cag.2018.01.008.
- Bandow, N., Petri, K., Salb, S., Emmermacher, P., Masik, S., Zhang, L., Brunnett, G. & Witte, K. (2017). Anwendung des Eye-Trackings zur Antizipationsforschung im Leistungssport beispielhaft im Karate-Kumite. In: Technologien im Leistungssport 2. Meyer & Meyer Verlag, Aachen.
- Petri, K., Bandow, N., Salb, S., Emmermacher, P., Masik, S., Zhang, L., Brunnett, G. & Witte, K. (2017). Wie kann virtuelle Realität im Hochleistungssport genutzt werden? In: Technologien im Leistungssport 2. Meyer & Meyer Verlag, 2017, Aachen.
- Zhang, L. & Brunnett, G. (2016). Combining inverse blending and Jacobian‐based inverse kinematics to improve accuracy in human motion generation. Computer Animation & Virtual 27, 1, pp. 3–13. https://doi.org/10.1002/cav.1615.
Beteiligte Professuren:
Das Projekt ist an der Professur für Graphische Datenverarbeitung und Visualisierung angesiedelt und wurde in Kooperation mit Professor Witte vom Institut für Sportwissenschaft an der Otto-von-Guerike Universität Magdeburg durchgeführt.
Förderung:
Beschreibung:
Im Bereich der stationären Robotik gibt es bereits vielversprechende Ansätze zur Kooperation von Mensch und Roboter. (Siehe z. B. Roboter "Baxter" www.rethinkrobotics.com). Wesentlich schwierigere, ungelöste Forschungsfragen ergeben sich bei der Kooperation von Menschen und intelligenten mobilen Robotern. Stand der Technik beim Einsatz von mobilen Robotern sind Fahrerlose Transportsysteme (FTS), die innerhalb von Betrieben spurgeführt auf fest vorgegebenen Wegen Transportaufgaben übernehmen. Ist eine flexiblere Kooperation zwischen Menschen und mobilen Robotern in unstrukturierten Umgebungen gefragt, so gibt es bisher keine Lösungen. Das Projekt H-RoC zielt deshalb darauf ab, methodische Entwicklungen zur Mensch-Roboter-Kooperation voranzutreiben. Als Beispielszenario dient eine Großbaustelle im Außenbereich. Flexible und intelligente mobile Roboter könnten hier vielfältige Aufgaben (z. B. Transportieren, Halten, Graben, Bohren) übernehmen. Dazu müssten die Roboter weitgehend autonom agieren, ihre Umgebung wahrnehmen und auf Hindernisse reagieren. Da sich die Transportwege baustellenbedingt oft ändern, ist eine flexible Navigationsfähigkeit nötig. Eine besondere Herausforderung und Voraussetzung für die Akzeptanz stellt die Fähigkeit zur sinnvollen Interaktion mit Menschen auf der Baustelle dar.
Beteiligte Professuren:
Neben Mitgliedern des Kompetenzzentrums (Professur für Graphische Datenverarbeitung und Visualisierung, Professur für Medieninformatik, Professur für Prozessautomatisierung) waren Prof. Dr. Wolfram Hardt (Professur Technische Informatik) von der TU Chemnitz und Prof. Dr. Markus Wacker (Professur Computergraphik) von der Hochschule für Technik und Wirtschaft Dresden involviert.
Förderung:
Beschreibung:
Die Erzeugung und Steuerung von realistischen virtuellen Avataren ist eine wichtige Herausforderung in der Computergrafik und der virtuellen Realität. Vor allem die Animation von virtuellen Avataren ist ein zentraler Aspekt vieler Anwendungsbereiche, wie z.B. Computerspiele, interaktive virtuelle Umgebungen, Filmproduktion, Telepräsenz oder Teleoperation.
Um eine hohe Immersion und Interaktivität zu erreichen, ist es wünschenswert, dass die Nutzer ihren virtuellen Avatar intuitiv und natürlich kontrollieren können, ohne auf komplexe oder störende Eingabegeräte angewiesen zu sein. Eine mögliche Lösung ist die Verwendung von Bewegungserfassung (Motion Capture), die die Bewegungen und Gesten der Nutzer in Echtzeit erfasst und auf die virtuellen Avatare überträgt.
Das Ziel dieses Projektes war es, verschiedene intuitive Kontrollmöglichkeiten für realistische virtuelle Avatare mittels Bewegungserfassung zu untersuchen, zu vergleichen und zu bewerten. Dabei sollten folgende Fragen beantwortet werden:
- Welche Art von Bewegungserfassungssystemen sind für die Steuerung von virtuellen Avataren geeignet?
- Wie kann die Bewegungserfassung mit anderen Eingabemethoden, wie z.B. Sprache, Blick oder Berührung, kombiniert werden, um die Interaktion zu verbessern?
- Wie kann die Qualität und der Realismus der virtuellen Avatare durch Bewegungserfassung erhöht werden?
- Wie wirkt sich die Bewegungserfassung auf das Erleben und Verhalten der Nutzer in virtuellen Umgebungen aus?
Um diese Fragen zu beantworten, wurden verschiedene Bewegungserfassungssysteme und Kontrollmöglichkeiten für virtuelle Avatare implementiert und evaluiert. Die Systeme wurden sowohl technisch als auch benutzerorientiert durch verschiedene Metriken und Messmethoden, wie z.B. Genauigkeit, Latenz, Benutzerfreundlichkeit, Zufriedenheit, Präsenz, Engagement und soziale Wirkung bewertet. Die Evaluation wurde in verschiedenen Szenarien durchgeführt, die unterschiedliche Anwendungsfälle und Herausforderungen repräsentieren, wie z.B. Sport, Kommunikation und Kollaboration.
Im Ergebnis entstand ein Überblick über die aktuellen Technologien und Methoden zur Erzeugung und Steuerung von realistischen virtuellen Avataren mittels Bewegungserfassung. Darin wurden die Vor- und Nachteile verschiedener Bewegungserfassungssysteme und Kontrollmöglichkeiten für virtuelle Avatare miteinander verglichen. Darüberhinaus konnten die Auswirkungen der Art der Bewegungserfassung auf die Nutzererfahrung und das Verhalten in virtuellen Umgebungen analysiert werden, was in einer Liste von Empfehlungen für die optimale Gestaltung und Auswahl von Bewegungserfassungssystemen und Kontrollmöglichkeiten für interaktive virtuelle Avatare je nach Anwendungskontext und Zielgruppe resultierte. Die Ergebnisse dieser Untersuchungen tragen dazu bei, die Qualität und Vielfalt der interaktiven Steuerung von virtuellen Avataren zu erhöhen, und eröffnet neue Möglichkeiten für zukünftige innovative und wegweisende Projektansätze des Kompetenzzentrums Virtual Humans.
Förderung:
Beschreibung:
Die vom Kompetenzzentrum „Virtual Humans“ eingeworbene, durch die EU und das Land Sachsen geförderte Nachwuchsforschergruppe „The Smart Virtual Worker ‐ Digitale Menschmodelle für die Simulation industrieller Arbeitsvorgänge“ entwickelte 2012 - 2014 Methoden und Werkzeuge, um die ergonomischen Eigenschaften von Arbeitsplätzen mithilfe von digitalen Menschmodellen schnell, einfach und effizient zu prüfen und zu bewerten. Dabei wurden die Voraussetzungen einer, aufgrund des demographischen Wandels, leistungsgewandelten Arbeiterschaft hier besonders berücksichtigt. Neben diesen Faktoren, die zu einer Einschränkung der Beweglichkeit und Belastbarkeit führen können, wurden intrinsische Belastungsfaktoren (z.B. Übermüdung, Motivation, Emotionen) und extrinsische Belastungsfaktoren (z.B. Lärm, Lichtverhältnisse und klimatische Bedingungen) in der Modellierung berücksichtigt. |
Publikationen:
- Kronfeld, T., Fankhänel, J. & Brunnett, G. (2014). Representation of Motion Spaces Using Spline Functions and Fourier Series. In: Mathematical Methods for Curves and Surfaces, Lecture Notes in Computer Science. Springer Berlin Heidelberg, pp. 265–282. https://doi.org/10.1007/978-3-642-54382-1_16.
- Spitzhirn, M., Kronfeld, T., Müller, N. H., Truschzinski, M., Brunnett, G., Hamker, F., Dinkelbach, H. Ü., Ohler, P., Protzel, P., Rosenthal, P. & Bullinger-Hoffmann, A. C. (2016). The Smart Virtual Worker – Digitales Menschmodell für die Simulation industrieller Arbeitsvorgänge. In: Homo Sapiens Digitalis - Virtuelle Ergonomie und digitale Menschmodelle, Springer Berlin Heidelberg, pp. 385–397. https://doi.org/10.1007/978-3-662-50459-8_24.
- Winter, M., Kronfeld, T. & Brunnett, G. (2018). Semi-Automatic Task Planning of Virtual Humans in Digital Factory Settings. CAD&A 16, 4, pp. 688–702. https://doi.org/10.14733/cadaps.2019.688-702.
- Kronfeld, T. & Brunnett, G. (2019). An Electro-Mechanical Input Device for the Manipulation of Virtual Human Motion. CAD&A 16, 6, pp. 1070–1083. https://doi.org/10.14733/cadaps.2019.1070-1083.
Beteiligte Professuren:
-
Professur Visual Computing
-
Professur Mediennutzung
Homepage: https://www.tu-chemnitz.de/forschung/virtual_humans/nwfg_svw/
Förderung:
Beschreibung:
Das Graduiertenkolleg „Kopplung virtueller und realer sozialer Welten“ thematisiert die zunehmende Digitalisierung und damit einhergehende Virtualisierung von Prozessen, Kommuni-kationsformen, Umgebungen und letztendlich vom menschlichen Gegenüber. Dabei können Art und Grad der Virtualisierung stark variieren und sind beträchtlich vom Anwendungskontext abhängig. Zu dieser Variabilität kommt hinzu, dass medial vermittelte Kommunikation per se immer mit Einschränkungen im Vergleich zu rein realweltlicher Kommunikation einhergeht.
Ziel des Graduiertenkollegs ist es, dieses Problemfeld durch eine Untersuchung der Kopplungsmöglichkeiten virtueller und realer sozialer Welten aufzuarbeiten. Damit soll geklärt werden, welche bisherigen Einschränkungen der medial vermittelten Kommunikation durch gekoppelte virtuell-reale Welten überwunden werden können und welche Interaktions- und Erlebnismöglichkeiten sich auf diese Weise gegenüber unmittelbarer realer Interaktion und Kommunikation eröffnen. Im Forschungsprogramm des Kollegs sind die Verbindungen zwischen virtuellen und realen sozialen Erlebnisräumen in die Teilbereiche Kommunikation, Emotionen, Sensomotorik und Lernen unterteilt. Die Teilbereiche werden in interdisziplinär zusammengesetzten Tandems auf Doktoranden-, Postdoktoranden- und auch auf der Betreuungsebene durch Informatiker und Sozialwissenschaftler gemeinsam bearbeitet.
Das Qualifikationsprogram orientiert sich an der Zielsetzung des Graduiertenkollegs, das explizit Schnittstellen-Kompetenzen zwischen technikorientierter und sozialwissenschaftlicher Medienforschung fokussiert. Es werden Vorlesungen angeboten, um die Kollegiaten aus den unterschiedlichen Fachbereichen und Studiengängen auf eine gemeinsame inhaltliche Basis zu stellen. Zusätzlich beschäftigen sich die Kollegiaten in Seminaren und in zum Teil selbst zu organisierenden Workshops intensiv mit ihrer Forschungsarbeit. Ferner qualifizieren Tutorien die Kollegiaten, um sich im nationalen und internationalen wissenschaftlichen Betrieb zu behaupten. Abgerundet wird das Qualifikationsprogramm durch den Besuch von namhaften Gastwissenschaftlern.
Das Graduiertenkolleg wird mit insgesamt 12 Mitarbeiterstellen durch die DFG unterstützt. Daneben wirken eine Reihe assoziierter Wissenschaftler mit. Prof. Eibl ist Sprecher des Kollegs.
Publikationen:
- Maria Wirzberger, René Schmidt, Maria Barlag, Wolfram Hardt, Guido Brunnett & Günter Daniel Rey (2018). Influences of system response delay on elderly participants' performance in a virtual memory training. https://doi.org/10.13140/RG.2.2.31016.21769.
Homepage: https://crossworlds.info/concept/
Förderung:
Beschreibung:
Durch Fortschritte auf den Gebieten der computergestützten Simulation und der Computergrafik werden beständig weitere Anwendungsmöglichkeiten für digitale Menschmodelle etwa für Trainings- und Ausbildungszwecke, zur Produkt- und Prozessoptimierung oder in der Unterhaltungsbranche erschlossen. Dabei kamen bisher hauptsächlich standardisierte, d. h. nach anthropometrischen Normwerten gestaltete Menschmodelle zum Einsatz. Es wird jedoch erwartet, dass durch die Verwendung individueller Modelle, die nach dem Vorbild spezieller Menschen gestaltet werden, viele der genannten Anwendungen auf ein neues Qualitätsniveau gehoben werden können. |
In diesem Projekt wurde ein individuelles Menschmodell generiert welches an der TU Chemnitz zu Forschungszwecken eingesetzt wird. Nach einem Auswahlverfahren wurden ein Student und eine Studentin als geeignete Vertreter der TU Chemnitz identifiziert. Bei dem weiblichen Modell handelt es sich um die Studentin der Medienkommunikation Eva Zurbrügg, für die mittlerweile ein ansprechendes virtuelles Modell zur Verfügung steht, welches für innovative Werbemaßnahmen genutzt werde kann. Die 3D Körper- und Gesichtsdaten von Eva wurden am IAT Leipzig erfasst und dem Kompetenzzentrum zur Modellentwicklung zur Verfügung gestellt. Hierzu wurden aus mehreren Perspektiven Ganzkörperfotos in Badebekleidung und Straßenbekleidung gemacht. Die gewonnenen Daten wurden verschmolzen und verwendet, um die Körperhülle des individuellen virtuellen Menschmodelles (sogenannte "Mesh") zu erstellen.
Die Körper-und Gesichtsdaten und die daraus generierten virtuellen Menschmodelle bereichern die Forschung des Kompetenzzentrums insofern, dass sie den Pool an bereits erhobenen Daten ergänzen und für die Forschungsarbeit des Kompetenzzentrums genutzt werden können. Neben den Anwendungen der generierten Modelle für unsere Forschungsprojekte, können wir diese Beispiele unserer Arbeit sehr gut für die Presse- und Öffentlichkeitsarbeit des Kompetenzzentrums verwenden. Es ist geplant die beiden Menschmodelle als virtuelle Repräsentanten des Kompetenzzentrums einzusetzen. Mit der virtuellen Modellierung der ausgewählten Personen ist es möglich das Spektrum unseres Könnens zu präsentieren. Durch beispielhafte öffentlichkeitswirksame Aktionen kann neben der Aufmerksamkeit auch das Interesse für die Arbeit des Kompetenzzentrums geweckt und sein Wiedererkennungswert gesteigert werden. Diese Effekte treffen ebenso auf die TU Chemnitz zu.
Publikationen:
Brunnett, G., Zhang, L. & Kronfeld, T. (2016). Von Realen Menschen zu Virtuellen Charakteren: Modellierung und Animation des digitalen Menschmodells „Eva“. In: Homo Sapiens Digitalis - Virtuelle Ergonomie und digitale Menschmodelle, Springer Berlin Heidelberg, Berlin, Heidelberg, pp. 269–278. https://doi.org/10.1007/978-3-662-50459-8_10.
Förderung:
Beschreibung:
Das eMAN II Projekt ist eine Kooperation zwischen der imk automotive GmbH, der Professur für Graphische Datenverarbeitung und Visualisierung sowie der Professur für Arbeitswissenschaften und dem Institut für Mechatronik e.V.
Planer, die bereits vor dem Bau einer Fabrik wissen wollen, wie die Fertigung von Produkten dort ablaufen wird, setzen in einer Digitalen Fabrik am Computer ein dreidimensionales Abbild der künftigen Produktion um. Nicht nur Maschinen und Fördersysteme werden dabei realistisch abgebildet, sondern auch deren Bewegungen werden modelliert. Für automatisierte Abläufe, etwa Tätigkeiten von Robotern, liegen bereits Visualisierungslösungen vor, mit denen Fehlerquellen und Risiken im Vorfeld des Baus der Fabrik virtuell erkannt und beseitigt werden können. Vor allem in der Montage arbeiten jedoch Menschen. Gegenüber Robotern haben sie den Vorteil, dass sie flexibel, situationsabhängig und schöpferisch agieren können - was jedoch die Visualisierung in 3D-Modellen wesentlich erschwert.
Ziel des Eman-Projekts ist es, Bewegungsmodelle des Menschen für die Digitale Fabrik zur Verfügung zu stellen. Die Bewegungen, die das Menschmodell liefert, nutzen die Wissenschaftler hauptsächlich, um zu prüfen, ob die geplanten Tätigkeiten von einem Werker tatsächlich ausgeführt werden können und ob der zeitliche Ablauf realistisch ist. Auch Ergonomie und Arbeitsschutz werden geprüft.
Um dieses Ziel zu erreichen, sollen im Rahmen des Verbundprojektes zunächst die theoretischen Grundlagen zur automatisierten Bewegungssynthese für digitale Menschmodelle untersucht werden. Ausgehend von einer strukturierten Tätigkeitsbeschreibung, einem 3D-Layout und wenigen ergänzenden Parametern soll ein System entworfen werden, das aus diesen Eingangsinformationen automatisch einen korrekten Bewegungsablauf für ein digitales Menschmodell generiert. Die Professur Graphische Datenverarbeitung und Visualisierung entwickelt in diesem Projekt einen so genannten Bewegungsgenerator. Diese Software berechnet und visualisiert die Bewegungen eines virtuellen Menschen auf der Grundlage gegebener Start- und Zielbedingungen sowie der Umgebungsgeometrie.
Publikationen:
- Rau, C. & Brunnett, G. (2013). GPU-accelerated Real-time Markerless Human Motion Capture. In: GRAPP & IVAPP 2013: Proceedings of the International Conference on Computer Graphics Theory and Applications and International Conference on Information Visualization Theory and Applications. SciTePress, pp. 397–401. https://doi.org/10.1109/TMM.2012.2225040.
- Rau, C. & Brunnett, G. (2012). Anatomically Correct Adaption of Kinematic Skeletons to Virtual Humans. In: Proceedings of the International Conference on Computer Graphics Theory and Applications. SciTePress, pp. 341–346. https://doi.org/10.5220/0003822503410346.
- Zhang, L., Brunnett, G. & Rusdorf, S.2011. Real-time Human Motion Capture with Simple Marker Sets and Monocular Video. Journal of Virtual Reality and Broadcasting, GI VR/AR Workshop 2009 Special Issue 8, 1. https://doi.org/10.20385/1860-2037/8.2011.1.
Förderung:
Beschreibung:
In Zusammenarbeit mit dem Prüf- und Forschungsinstitut Pirmasens wird in diesem Projekt an Problemstellungen der Schuhindustrie, speziell bei der Thematik Stiefeldesign, gearbeitet. Auf diesem Gebiet hat die Professur Graphische Datenverarbeitung und Visualisierung bereits in den Projekten "Virtuelle Präsentation von Schumodellen" und "VR-basierte Schuhmodellierung" Erfahrung sammeln können.
Motivation Im Bereich des Stiefeldesigns wird in diesem Projekt eine Alternative zum traditionellen Designprozess erarbeitet. Das in der Industrie verwendete, traditionelle Vorgehen erfolgt ausschliesslich auf einer zweidimensionalen, simplen Annäherung des Stiefelschafts. Diese Annäherung des Schaftes wird dabei an die Abwicklung des Leistens angebracht und sämtliche Designelemente des Stiefels werden auf dieser zusammengesetzten Abbildung entworfen. Bei dieser Vorgehensweise entstehen mehrere Probleme: |
- die vereinfachte Darstellung des abgewickelten Stiefelschafts entspricht keiner aktuellen Datenerhebung für realisitische Beinmaße, weshalb das Design im Herstellungsprozess abgeändert werden muss, um die Passform für den Großteil der Kunden zu gewährleisten,
- die vereinfachte Darstellung erlaubt nur eine begrenzte Vorstellung des dreidimensionalen, fertigen Stiefels,
- die Vorauswahl und Modelvariation auf Basis der vereinfachten Darstellung ist nur begrenzt möglich,
- die Arbeit erfolgt größtenteils künstlerisch ohne direkte Anbindung an technisches Design, wodurch technische Detaillierung vor der Herstellung aufwändig ist.
Als Datengrundlage für die Modellierung des virtuellen Stiefelleistens dienen Scan- und Messdaten, die in einem gesonderten Forschungsprojekt am Prüf- und Forschungsinstitut Pirmasens erarbeitet wurden. Auf Basis zahlreicher 3D-Scans von Beinen (bis zum Oberschenkel) wurden verschiedene Grundformen und signifikante Maße herausgestellt. Da diese Daten eine bedarfsgerechtere Abschätzung für die Stiefelform versprechen, soll in diesem Projekt ein parametrisches Modell des Unterschenkels erstellt werden. Nach der Zusammenführung dieses Modells mit dem eigentlichen Schuhleisten kann auf dem dann kompletten, dreidimensionalen Stiefelleisten vgl. der Grundidee des Projektes "VR-basierte Schuhmodellierung" gearbeitet werden.
Im Gegensatz zum Ansatz der vorherigen Projekte im Schuhdesign wird erstmalig ein haptisches Eingabegerät verwendet, um die Interaktion des Nutzers mit einem Stift auf der Designoberfläche zu simulieren. Das bisher verwendete reale Leistenmodell ist im Stiefeldesign aufgrund der Ausmaße des Modells nicht anwendbar. Durch die Verwendung der Force-Feedback-Interaktion mit einer virtuellen Umgebung ergeben sich Interaktionsansätze, die besonders für Nutzer intuitiv sind, die sonst regulär nicht am Computer arbeiten.
Die Erstellung und Visualisierung von stiefelspezifischen Designelementen ist ein weiterer wichtiger Arbeitspunkt des Projektes. Während einige dieser Elemente allein durch Techniken der Computergraphik auf der Oberfläche eines Modells simuliert werden können, muss für andere Elemente Geometrie im Modell erzeugt werden. In beiden Fällen muss gewährleistet werden, dass zum einen die Darstellung und physikalische Simulation vom kritischen Nutzer akzeptiert wird, trotzdem aber zum anderen die Interaktionsfähigkeit des Systems bei der 3D-Modellierung möglich.
Publikationen:
- Kühnert, T. & Brunnett, G. (2019). Fallbeispiele für VR/AR - Virtual Prototyping von Schuhen und Stiefeln. In: VIRTUAL UND AUGMENTED REALITY (VR/AR). Grundlagen und methoden der virtuellen, SPRINGER-VERLAG BERLIN, pp. 357–392. https://doi.org/10.1007/978-3-662-58861-1_9.
- Kühnert, T. & Brunnett, G. (2012). Fur Shading and Modification based on Cone Step Mapping. Computer Graphics Forum 31, 7, pp. 2011–2018. https://doi.org/10.1111/j.1467-8659.2012.03193.x.
- Kühnert, T., Rusdorf, S., & Brunnett, G. (2012). Technischer Bericht zum virtuellen 3D-Stiefeldesign. Chemnitzer Informatik-Berichte CSR-12-02. Universitätsbibliothek Chemnitz, Chemnitz.
- Kuhnert, T., Rusdorf, S. & Brunnett, G. (2011). Virtual prototyping of shoes. IEEE computer graphics and applications 31, 5, pp. 30–42. https://doi.org/10.1109/MCG.2010.81.