NToP

News

• 2024-10-30 - Code auf Github veröffentlicht
• 2024-08-25 - Veröffentlichung akzeptiert zu ECCV 2024 Synthetic Data for Computer Vision Workshop.
• 2024-08-15 - OmniLab Datensatz mit Bildern, Begrenzungsrahmen und Keypoints veröffentlicht
• 2024-04-24 - Veröffentlichung des NTOP Papers v2 auf arXiv

Abstract

Aufgrund von Einschränkungen durch die Lizenzen der ursprünglichen Datensätze können wir die Teilmengen von NToP, die Human3.6M und Genebody als Ursprung haben, nicht veröffentlichen. Um die NToP ZJU-MoCap-Teilmenge herunterzuladen, füllen Sie bitte zuerst das Google-Formular aus (das mit Qing Shuai geteilt wird) und schreiben Sie eine E-Mail an Jingrui Yu. Der Link zum Herunterladen des Datensatzes wird Ihnen dann in Kürze zugesandt. Alternativ können Sie unser Git-Repo verwenden, um Ihren eigenen Datensatz zu trainieren und zu rendern.

Die Schätzung der menschlichen Pose (Human Pose Estimation, HPE) aus der Vogelperspektive mithilfe von Fisheye-Kameras stellt ein vielversprechendes und innovatives Anwendungsfeld dar. Allerdings ist die Verfügbarkeit von Datensätzen, die diesen Blickwinkel erfassen, äußerst begrenzt, insbesondere solche mit qualitativ hochwertigen 2D- und 3D-Schlüsselpunkten. Um diese Lücke zu schließen, nutzen wir die Fähigkeiten der Neural Radiance Fields (NeRF) Technik, um eine umfassende Pipeline zur Generierung von menschlichen Posedatensätzen aus bestehenden 2D- und 3D-Datensätzen zu etablieren, die speziell auf die Vogelperspektive mit Fisheye-Kameras zugeschnitten ist. Durch diese Pipeline erstellen wir einen neuartigen Datensatz namens NToP (NeRF-powered Top-view human Pose dataset for fisheye cameras) mit über 570.000 Bildern und führen eine umfassende Bewertung seiner Wirksamkeit bei der Verbesserung neuronaler Netzwerke für die 2D- und 3D-Schätzung menschlicher Posen aus der Vogelperspektive durch. Umfangreiche Auswertungen auf bestehenden 2D- und 3D-HPE-Datensätzen aus der Vogelperspektive sowie auf unserem neuen realen 2D-HPE-Datensatz OmniLab aus der Vogelperspektive belegen, dass unser Datensatz effektiv ist und frühere Datensätze in diesem Forschungsfeld übertrifft.

Die Renderqualität von NToP wird in der untenstehenden Abbildung mit den einzigen anderen verfügbaren HPE-Datensätzen aus der Vogelperspektive (Stand August 2024) verglichen.

Paper

• arXiv

Code

• Github

BibTeX

Wenn Sie den Datensatz in Ihrer Arbeit verwenden, bitte folgende Referenz nicht vergessen:

@misc{yu2024ntop,
      title={NToP: NeRF-Powered Large-scale Dataset Generation for 2D and 3D Human Pose Estimation in Top-View Fisheye Images}, 
      author={Jingrui Yu and Dipankar Nandi and Roman Seidel and Gangolf Hirtz},
      year={2024},
      eprint={2402.18196},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2402.18196}, 
}