Von der Fotoanalyse zum videobasierten Monitoring
Die InnoProfile-Transfer-Initiative localizeIT erforscht an der Stiftungsjuniorprofessur Media Computing Lokalisierungsfragen in audiovisuellen Medien – Auftaktworkshop am 22. Januar 2015
-
Das Team von "localizeIT" - von links: Dr. Hussein Hussein, Daniel Richter, Robert Manthey, Jun.-Prof. Dr. Marc Ritter, Dr. Marcel Heinz, Norbert Englisch. Foto: Steve Conrad
Wissenschaftler der Professur Medieninformatik der Technischen Universität Chemnitz erforschten im Projekt "sachsMedia – Cooperative Producing, Storage and Broadcasting for Local Television Stations" von 2007 bis 2012 die Archivierung von Videomaterialien für Lokalfernsehsender. Gefördert wurde das Projekt durch das Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Programms "InnoProfile Unternehmen Region". Als Fortführung dieser Nachwuchsforschergruppe startete im Juli 2014 die Stiftungsjuniorprofessur Media Computing, die Jun.-Prof. Dr. Marc Ritter inne hat.
Finanziert wird sie von vier Stiftern: den Chemnitzer Unternehmen Intenta GmbH, 3D-Micromac AG und 3DInsight GmbH sowie der IBS Software & Research GmbH Sachsen in Laubusch. Diese sind auch Forschungspartner der InnoProfile-Transfer-Initiative „localizeIT – Lokalisierung visueller Medien“, die auf den Ergebnissen von sachsMedia aufbaut und als Begleitprojekt zur Stiftungsjuniorprofessur Media Computing gemeinsam mit der Professur Medieninformatik unter Prof. Dr. Maximilian Eibl konzipiert wurde. Das BMBF fördert diese Forschung von August 2014 bis Juli 2019 mit fast 2,6 Millionen Euro. Am 22. Januar 2015 findet der „1. Workshop localizeIT“ statt. Hier treffen sich Stifter, Projektträger sowie die Mitarbeiter der Stiftungsjuniorprofessur Media Computing und konkretisieren gemeinsame Zielstellungen für das laufende Jahr.
Präzise und synchrone Lokalisierung in Echtzeit
„Wir bearbeiten innerhalb von localizeIT fünf Themenschwerpunkte, bei denen die Lokalisierungsfragen das verbindende Element sind“, sagt Jun.-Prof. Ritter und ergänzt: „Unser Ziel ist es, Probleme und Bedürfnisse von Anwendungsfällen zu lösen, die sich in den vergangenen Jahren in Gesprächen mit Unternehmen aus der Region Chemnitz herauskristallisiert haben.“ Den ersten Themenschwerpunkt bilden Mehrkameraaufnahmen, die beispielsweise beim sicherheitstechnischen oder medizinischen Monitoring zum Einsatz gelangen. „Hierbei besteht die Herausforderung einerseits dabei, Verdeckungen zu verarbeiten; also etwa Personen auch dann lokalisieren und zuordnen zu können, wenn sie zeitweise nicht zu sehen sind. Andererseits muss beim Einsatz mehrerer Kameras das verfolgte Objekt von einer Kamera zur nächsten übergeben werden“, erklärt Ritter.
Der zweite Themenbereich fokussiert auf automatische Verfahren, mit denen der Aufnahmeort von Fotos lokalisiert werden kann. Dies geht über die bereits verfügbare Verknüpfung mit GPS-Daten hinaus: „Durch eine Kopplung mit dem Aufnahmezeitpunkt und einer Webservice-Schnittstelle und angebundener Datenbank soll ermittelt werden, bei welchem Ereignis, also etwa bei welcher Veranstaltung, ein Foto aufgenommen wurde. Hinzu kommen Verfahren der Bilderkennung, um beispielsweise Posen und Blickrichtungen der fotografierten Personen ermitteln zu können“, so Ritter. Als dritten Schwerpunkt befassen sich die Informatiker mit Audiodaten, mit denen zum einen eine Lokalisierung von Geräuschquellen ermöglicht, zum anderen gezielt Geräusche detektiert werden sollen. Somit lassen sich akustische und visuelle Informationen in der Szeneninterpretation verknüpfen. Im vierten Themenbereich analysieren sie Prozesse in der Fabrikproduktion, bei denen Werkstücke lokalisiert werden müssen, um sie automatisiert zu bearbeiten. Untersuchtes Anwendungsfeld ist hierbei die Lasertechnik, für die sehr genaue Positionierungen von Werkstücken und -zeugen notwendig sind. Die Erstellung einer modernen und ergonomischen graphischen Nutzerschnittstelle soll diesen Prozess nachhaltig unterstützen. Der fünfte Schwerpunkt umfasst die automatische Kalibrierung von Interaktionsflächen, die durch mehrere Projektoren ein dreidimensionales Bild erzeugen und bei denen mehrere Kameras das Zusammenspiel der Projektoren und die Interaktion mit dem Nutzer steuern.
Für alle fünf Forschungsbereiche gelten drei Herausforderungen, die die Initiative localizeIT von seinem Vorgänger sachsMedia differenzieren: Echtzeit, Präzision und Synchronisation. „Die Anwendungsgebiete reichen von der Analyse von Fotografien für die aktuelle Berichterstattung bis zu videobasierten Überwachungsszenarien – die angestrebte Analyse muss hierbei in Echtzeit oder nah daran erfolgen, um auf relevante Ereignisse entsprechend reagieren zu können“, sagt Ritter und ergänzt: „Die hohen Anforderungen an die Robustheit und Präzision der Analyse erschließen sich beim Einsatz in Überwachungsszenarien sofort: Stürzt beispielsweise eine Person und verletzt sich, muss dieses nicht nur schnell, sondern auch zuverlässig erkannt werden können, um Hilfsmaßnahmen rechtzeitig einzuleiten.“ Zudem arbeiten die Wissenschaftler nun erstmals mit der Analyse verschiedener Kameraperspektiven, die das gleiche Szenario darstellen oder die Erkennung von komplexeren Aktivitätsmustern ermöglichen sollen, weshalb die Materialien miteinander synchronisiert sein müssen.
Erste Erfolge und aktuelle Aufgaben
Ihre Expertise zur Lokalisierung hat das Team der Stiftungsjuniorprofessur Media Computing in den vergangenen Monaten bereits unter Beweis gestellt: In Kooperation mit der Professur Medieninformatik haben die acht Nachwuchswissenschaftler ein erstes System entwickelt, um Instanzen von zuvor unbekannten Objektklassen, die nur durch eine Handvoll Beispiele vorgegeben sind, ad hoc in großen Datenkollektionen von hunderten Stunden an Videomaterialien zu lokalisieren. Dieses System wurde bei der wissenschaftlich renommierten und vom amerikanischen „National Institute of Standards and Technologies“ (NIST) jährlich veranstalteten Evaluationskampagne TRECVid auf 464 Stunden Videomaterial der BBC angewendet. „Der erste Entwurf liefert uns eine fundamentierte Basis, um zukünftig die Detektionsquoten in großen Datenbeständen sukzessiv verbessern zu können, wobei die erzielten Erkenntnisse auch den Themenfeldern von localizeIT zu Gute kommen“, kommentiert Ritter.
Aktuell bauen die Informatiker ein neues audiovisuelles Labor auf. Dieses wird mit ca. 70 Mikrofonen ausgestattet sein, mit denen die Wissenschaftler die Lokalisierung von Geräuschen im Raum erforschen. Hinzu kommen intelligente 3D-Sensoren, mit denen Bewegungen detektiert werden können: „Eine große Herausforderung besteht dabei in der Datenspeicherung: Wenn mehrere Kameras zeitgleich 3D-Bilder aufzeichnen, summiert sich das Datenvolumen schnell auf über ein Gigabyte pro Sekunde. Dieses ist zudem so zu speichern und verfügbar zu halten, dass die angestrebte präzise und synchrone Analyse in Echtzeit ermöglicht wird“, so Ritter.
Weitere Informationen: http://www.localize-it.de
Kontakt: Jun.-Prof. Dr. Marc Ritter, Telefon 0371 531-25790, E-Mail marc.ritter@informatik.tu-chemnitz.de
Katharina Thehos
20.01.2015
