THEOStereo-1024-Li

Dieser Datensatz ist eine nachbearbeitete Version von THEOStereo [1], welche die Voraussetzungen des Trainings von Omni-AnyNet [2] erfüllt. So wie der ursprüngliche Datensatz ermöglicht dieser Datensatz das Training von künstlichen neuronalen Netzen zur 3D-Szenen-Rekonstruktion. Die Auflösung wurde auf w ⨯ h = 1024 ⨯ 1024 reduziert. Anstatt Tiefenkarten werden nun omnidirektionale Disparitätskarten bereitgestellt, welche der Definition einer normalisierten Disparität von Li et al. [3] folgen. Neben den Disparitätskarten enthält der Datensatz omnidirektionale Bilder von zwei Sensoren einer Stereo-Kamera (kanonische Anordnung) mit einer Baseline von 15 cm. Das equiangulare Kameramodel wurde hier als Projektionsmodell verwendet. Beide Kamerasensoren weisen einen Blickwinkel F von 180° auf. Der Datensatz enthält 31.250 Proben/Samples (25.000 zum Training / 3.125 zur Validierung / 3.125 zum Testen). Weitere Details finden Sie in [2]. Wenn Sie den Datensatz verwenden, würden wir uns über eine Zitation von [1] und [2] freuen.

Hinweis: Da für THEOStereo keine exakte Brennweite bekannt ist, haben wir die Brennweite mit f = w / F abgeschätzt und diesen Wert zur Berechnung der normalisierten Disparität herangezogen.

Fig 1: Bild der linken Kamera

Fig 2: Bild der rechten Kamera

Fig 3: Normalisierte Disparitätskarte (Ground Truth)

Aufbau des Datensatzes

.
├── README.md
├── test
│   ├── disp_occ_0_exr    # (normalized disparity)
│   ├── img_stereo_webp   # (right image)
│   └── img_webp          # (left image)
├── train
│   ├── disp_occ_0_exr    # (normalized disparity)
│   ├── img_stereo_webp   # (right image)
│   └── img_webp          # (left image)
└── valid
    ├── disp_occ_0_exr    # (normalized disparity)
    ├── img_stereo_webp   # (right image)
    └── img_webp          # (left image)

Lizenz

Der Datensatz sowie der original THEOStereo-Datensatz sind lizenziert unter der Creative Commons Attribution 4.0 International License.

Download

Linux-Benutzern empfehlen wir den Download über download.sh.
Wer den Datensatz manuell herunterladen und entpacken möchte, findet den Datensatz hier.
Der Prerpint-Artikel kann hier heruntergeladen werden. Den Code zu Omni-AnyNet [2] finden Sie hier.

BibTeX

Wenn Sie den Datensatz in Ihrer Arbeit verwenden, bitte zitieren sie [1] und [2]. Hierzu können Sie folgende BibTex-Einträge verwenden:

@inproceedings{seuffert_study_2021,
  address = {Online Conference},
  title = {A {Study} on the {Influence} of {Omnidirectional} {Distortion} on {CNN}-based {Stereo} {Vision}},
  isbn = {978-989-758-488-6},
  doi = {10.5220/0010324808090816},
  booktitle = {Proceedings of the 16th {International} {Joint} {Conference} on {Computer} {Vision}, {Imaging} and {Computer} {Graphics} {Theory} and {Applications}, {VISIGRAPP} 2021, {Volume} 5: {VISAPP}},
  publisher = {SciTePress},
  author = {Julian Bruno Seuffert and Ana Cecilia Perez Grassi and Tobias Scheck and Gangolf Hirtz},
  year = {2021},
  month = {2},
  pages = {809--816}
}

@article{seuffert_omniglasses_2024,
  title = {{OmniGlasses}: an optical aid for stereo vision {CNNs} to enable omnidirectional image processing},
  volume = {35},
  issn = {0932-8092, 1432-1769},
  shorttitle = {{OmniGlasses}},
  url = {https://link.springer.com/10.1007/s00138-024-01534-2},
  doi = {10.1007/s00138-024-01534-2},
  number = {3},
  urldate = {2024-05-07},
  journal = {Machine Vision and Applications},
  author = {Seuffert, Julian B. and Perez Grassi, Ana C. and Ahmed, Hamza and Seidel, Roman and Hirtz, Gangolf},
  month = apr,
  year = {2024},
  pages = {58--72}
}

Referenzen

[1] J. B. Seuffert, A. C. Perez Grassi, T. Scheck, and G. Hirtz, “A Study on the Influence of Omnidirectional Distortion on CNN-based Stereo Vision,” in Proceedings of the 16th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, VISIGRAPP 2021, Volume 5: VISAPP, Online Conference, Feb. 2021, pp. 809–816, doi: 10.5220/0010324808090816.

[2] J. B. Seuffert, A. C. Perez Grassi, H. Ahmed, R. Seidel, and G. Hirtz, “OmniGlasses: an optical aid for stereo vision CNNs to enable omnidirectional image processing,” Machine Vision and Applications, vol. 35, no. 3, pp. 58–72, Apr. 2024, doi: 10.1007/s00138-024-01534-2.

[3] S. Li, “Trinocular Spherical Stereo,” in 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, Oct. 2006, pp. 4786–4791. doi: 10.1109/IROS.2006.282350.