Le splatting gaussien 3D est une technique de représentation de scène et de rendu qui modélise une scène tridimensionnelle comme un grand ensemble de gaussiennes 3D orientées et semi-transparentes, chacune avec une position, une forme, une couleur et une opacité. Introduite dans l'article SIGGRAPH 2023 « 3D Gaussian Splatting for Real-Time Radiance Field Rendering » par Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler et George Drettakis de l'Inria et de l'Institut Max-Planck, elle a égalé ou dépassé la qualité visuelle des champs de radiance neuronaux tout en rendant à des fréquences d'images en temps réel, et est rapidement devenue l'approche dominante pour la synthèse de nouvelles vues.
Comment cela fonctionne
À partir d'un nuage de points clairsemé produit par la structure par le mouvement classique, chaque point devient une gaussienne 3D dont les paramètres sont optimisés par descente de gradient afin que les rendus rastérisés correspondent aux photographies d'entrée. Contrairement à un NeRF, qui stocke la scène implicitement dans les poids d'un réseau de neurones et rend par un échantillonnage de rayons coûteux, le splatting gaussien est une représentation explicite rendue par une rastérisation rapide sur GPU : les gaussiennes sont projetées, ou « splattées », sur le plan de l'image et mélangées alpha dans l'ordre de profondeur. La densification et l'élagage pendant l'entraînement ajoutent des détails là où c'est nécessaire et suppriment les primitives redondantes.
Adoption
En moins d'un an après sa publication, la méthode s'est répandue dans les effets visuels, les moteurs de jeu, la cartographie par drone, la capture immobilière et les applications de numérisation sur smartphone, avec un support intégré dans Unreal Engine, Unity et des outils de capture grand public. Les extensions de recherche ont ajouté des scènes dynamiques, des avatars humains animables et l'intégration avec les pipelines de génération texte-vers-3D, où les splats servent de représentation optimisée. La technique alimente également l'IA incarnée et la simulation robotique, produisant des environnements photoréalistes à partir de captures vidéo informelles.
Relation avec le domaine
Le splatting gaussien est souvent décrit comme le successeur pratique du NeRF : les deux appartiennent à la famille des champs de radiance issue de la recherche en vision par ordinateur et en apprentissage profond, mais le splatting échange la compacité neuronale implicite contre des primitives explicites et une vitesse de rendu. La recherche active explore la compression, le rééclairage et les modèles hybrides neuronaux-explicites.