OmniLab

News

• 2024-10-30 - Code auf Github veröffentlicht
• 2024-08-25 - Veröffentlichung akzeptiert zu ECCV 2024 Synthetic Data for Computer Vision Workshop.
• 2024-08-15 - OmniLab Datensatz mit Bildern, Begrenzungsrahmen und Körperkeypoints veröffentlicht.
• 2024-04-24 - Veröffentlichung des NTOP Papers v2 auf arXiv

Sample images of each action in OmniLab

brooming

cleaning windows

down and get up

drinking

fall on face

inchair stand up

pull object

push object

rugpull

turn left

turn right

upbend from knees

upbend from waist

up from ground

walk

walk-oldman

×

Abstract

Bei Interesse bitte senden Sie die unterschriene Veröffentlichungsvereinbahrung per E-Mail an Jingrui Yu. Der Datensatz is nur für nicht-kommerzielle Nutzung zugängig.

Um die Effektivität von NToP in realen Szenarien zu bewerten, haben wir ein neues Dataset namens OmniLab mit einer omnidirektionalen Kamera, die an der Decke von zwei verschiedenen Räumen (Schlafzimmer, Wohnzimmer) in einer Höhe von 2,5 m montiert ist, gesammelt. Fünf Akteure (3 Männer, 2 Frauen) führen 15 Aktionen aus der CMU-MoCap-Datenbank (Kehren, Fenster putzen, Hinlegen und Aufstehen, Trinken, auf das Gesicht fallen, im Stuhl sitzen und aufstehen, Objekt ziehen, Objekt schieben, Teppichziehen, nach links drehen, nach rechts drehen, aus den Knien aufrichten, aus der Taille aufrichten, vom Boden aufstehen, Gehen, alter Mann geht.) in zwei Räumen mit unterschiedlicher Kleidung aus. Die aufgezeichnete Aktionsdauer beträgt 2,5 Sekunden, was zu 60 Bildern pro Szene bei einer Bildrate von 24 FPS führt. Die Position der Kamera ist fest und die Auflösung der Bilder beträgt 1200 x 1200 Pixel. Insgesamt wurden 4800 Frames gesammelt. Alle Annotationen von 17 Keypoints, die den COCO-Konventionen entsprechen, wurden durch einen Keypoint-erkennungsalgorithmus geschätzt und anschließend von vier verschiedenen Personen in zwei Durchgängen verfeinert, um eine hohe Annotationsqualität zu gewährleisten. Die untere Abbildungen zeigt einige Beispiele aus OmniLab mit Personenbegrenzungsrahmen und Keypoints.

Paper

• arXiv

Code

• Github

BibTeX

Wenn Sie den Datensatz in Ihrer Arbeit verwenden, bitte folgende Referenz nicht vergessen:

@misc{yu2024ntop,
      title={NToP: NeRF-Powered Large-scale Dataset Generation for 2D and 3D Human Pose Estimation in Top-View Fisheye Images}, 
      author={Jingrui Yu and Dipankar Nandi and Roman Seidel and Gangolf Hirtz},
      year={2024},
      eprint={2402.18196},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2402.18196}, 
}