Wir freuen uns, dass unser Beitrag „PRIMU: Uncertainty Estimation for Novel Views in Gaussian Splatting from Primitive-Based Representations of Error and Coverage“ für die IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026 angenommen wurde, eine der führenden internationalen Konferenzen im Bereich Computer Vision.
Die Arbeit entstand im Rahmen des EFRE-finanzierten Projekts „Just Scan It 3D“ und ist das Ergebnis einer Zusammenarbeit zwischen Forschern der Universität Wuppertal, der Universität Osnabrück und der Queensland University of Technology. Die Autoren sind Thomas Gottwald, Edgar Heinert, Peter Stehr, Chamuditha Jayanga Galappaththige und Matthias Rottmann.
Der Artikel stellt PRIMU vor, ein Framework zur Abschätzung der Vorhersageunsicherheit bei Gaussian Splatting (3DGS), welches ein neuer Ansatz für die hochwertige Rekonstruktion von 3D-Szenen und die Synthese neuartiger Blickwinkel ist. Zwar kann Gaussian Splatting visuell überzeugende Darstellungen bisher ungesehener Blickwinkel erzeugen, doch oft ist unklar, ob die generierten Bilder und Tiefenschätzungen tatsächlich zuverlässig sind. Die fehlende Zuverlässigkeitsschätzung kann problematisch sein, wenn die Technologie in automatisierten oder sicherheitskritischen Systemen eingesetzt wird.
PRIMU adressiert diese Herausforderung, indem es primitivbasierte Darstellungen von Rekonstruktionsfehlern und Beobachtungsabdeckung direkt auf den Gaußschen Primitiven erstellt, aus denen sich die 3D-Szenendarstellung zusammensetzt. Diese Darstellungen können aus beliebigen Blickwinkeln gerendert werden, um Unsicherheits-Feature-Maps zu erzeugen, anhand derer sich vorhersagen lässt, wo Rendering-Fehler wahrscheinlich auftreten. Auf diese Weise liefert die Methode räumlich aufgelöste Unsicherheitsschätzungen sowohl für Farbwiedergaben als auch für Tiefenvorhersagen.
Unsere Experimentelle Ergebnisse zeigen, dass PRIMU bei der Unsicherheitsschätzung im Rahmen des Gaußschen Splattings eine Leistung auf dem neuesten Stand der Technik erzielt und dabei bestehende Ansätze übertrifft, obwohl es nur ein Post-Processing-Schritt ist, der kein erneutes Trainieren des 3D-Modells erfordert. Die geschätzten Unsicherheiten korrelieren stark mit den tatsächlichen Rendering-Fehlern und lassen sich gut auf unbekannte Ansichten und Szenen übertragen.
Zuverlässige Unsicherheitsschätzungen sind für viele Aufgaben im Rahmen des Projekts „Just Scan It 3D“ von entscheidender Bedeutung. Dazu gehören die aktive Ansichtsauswahl, bei der ein System automatisch ermittelt, welche zusätzlichen Kameraansichten eine Rekonstruktion verbessern würden, sowie Anwendungen wie die Erkennung von Veränderungen und Anomalien in 3D-Szenen.
Hiermit leistet das Projekt einen wichtigen Beitrag zu zuverlässigeren und autonomeren 3D-Rekonstruktionssystemen, die es Maschinen ermöglichen, nicht nur die Welt in 3D zu rekonstruieren, sondern auch die Zuverlässigkeit ihrer Vorhersagen zu bewerten.
Der Beitrag wird auf der CVPR 2026 vorgestellt, wo wir uns darauf freuen, die Ergebnisse mit der internationalen Community im Bereich Computer Vision zu diskutieren. Weitere Informationen sind auf der offiziellen Website verfügbar.
Info:
Dieser Text wurde mithilfe von KI aus dem Englischen übersetzt.