3D Gaussian Splatting ist eine Szenenrepräsentations- und Rendering-Technik, die eine dreidimensionale Szene als eine große Menge orientierter, halbtransparenter 3D-Gauß-Verteilungen modelliert, jede mit Position, Form, Farbe und Opazität. Eingeführt in der SIGGRAPH-Publikation von 2023 „3D Gaussian Splatting for Real-Time Radiance Field Rendering“ von Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler und George Drettakis von Inria und dem Max-Planck-Institut, erreichte oder übertraf sie die visuelle Qualität von neuralen Radiance Fields und rendert dabei in Echtzeit-Framerate, und wurde schnell zum dominierenden Ansatz für die Neuansicht-Synthese.
Funktionsweise
Ausgehend von einer spärlichen Punktwolke, die durch klassische Structure-from-Motion erzeugt wird, wird jeder Punkt zu einer 3D-Gauß-Verteilung, deren Parameter durch Gradientenabstieg optimiert werden, sodass die gerasterten Renderings mit den Eingabefotos übereinstimmen. Im Gegensatz zu einem NeRF, das die Szene implizit in neuronalen Netzwerk-Gewichten speichert und durch kostspieliges Ray-Sampling rendert, ist Gaussian Splatting eine explizite Repräsentation, die durch schnelle GPU-Rasterisierung gerendert wird: Gauß-Verteilungen werden projiziert oder „gesplattet“ auf die Bildebene und in Tiefenreihenfolge alpha-gemischt. Verdichtung und Beschneidung während des Trainings fügen dort Details hinzu, wo sie benötigt werden, und entfernen redundante Primitive.
Verbreitung
Innerhalb eines Jahres nach der Veröffentlichung verbreitete sich die Methode in visuellen Effekten, Spiele-Engines, Drohnenkartierung, Immobilienaufnahme und Smartphone-Scan-Apps, mit Unterstützung in Unreal Engine, Unity und Verbraucher-Capture-Tools. Forschungserweiterungen fügten dynamische Szenen, animierbare menschliche Avatare und die Integration in Text-zu-3D-Generierung-Pipelines hinzu, wobei Splats als optimierte Repräsentation dienen. Die Technik speist auch verkörperte KI und Robotik-Simulation, die fotorealistische Umgebungen aus beiläufiger Videoaufnahme erzeugt.
Bezug zum Feld
Gaussian Splatting wird oft als praktischer Nachfolger von NeRF beschrieben: Beide gehören zur Radiance-Field-Familie, die aus Computervision- und Deep-Learning-Forschung hervorgegangen ist, aber Splatting tauscht implizite neuronale Kompaktheit gegen explizite Primitive und Rendergeschwindigkeit. Aktive Forschung untersucht Kompression, Relighting und hybride neuronal-explizite Modelle.