El splatting de gaussianas 3D es una técnica de representación de escenas y renderizado que modela una escena tridimensional como un gran conjunto de gaussianas 3D orientadas y semitransparentes, cada una con posición, forma, color y opacidad. Introducida en el artículo de SIGGRAPH 2023 "3D Gaussian Splatting for Real-Time Radiance Field Rendering" de Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler y George Drettakis de Inria y el Instituto Max Planck, igualó o superó la calidad visual de los campos de radiancia neurales mientras se renderizaba a velocidades de fotogramas en tiempo real, y rápidamente se convirtió en el enfoque dominante para la síntesis de nuevas vistas.
Cómo funciona
Partiendo de una nube de puntos dispersa producida por estructura a partir del movimiento clásica, cada punto se convierte en una gaussiana 3D cuyos parámetros se optimizan mediante descenso de gradiente para que las renderizaciones rasterizadas coincidan con las fotografías de entrada. A diferencia de un NeRF, que almacena la escena implícitamente en los pesos de una red neuronal y renderiza mediante un costoso muestreo de rayos, el splatting de gaussianas es una representación explícita que se renderiza mediante rasterización en GPU rápida: las gaussianas se proyectan, o se "salpican", en el plano de imagen y se combinan con canal alfa en orden de profundidad. La densificación y la poda durante el entrenamiento añaden detalle donde es necesario y eliminan primitivos redundantes.
Adopción
En el plazo de un año desde su publicación, el método se extendió a efectos visuales, motores de juego, cartografía con drones, captura de inmuebles y aplicaciones de escaneo con teléfonos inteligentes, con soporte en Unreal Engine, Unity y herramientas de captura para consumidores. Las extensiones de la investigación añadieron escenas dinámicas, avatares humanos animables e integración con flujos de trabajo de generación de texto a 3D, donde los splats sirven como representación optimizada. La técnica también alimenta la IA encarnada y la simulación robótica, ceando entornos fotorrealistas a partir de capturas de vídeo[^1]casuales.
Relación con el campo
El splatting de gaussianas se describe a menudo como el sucesor práctico del NeRF: ambos pertenecen a la familia de campos de radiancia nacida de la investigación en visión por computador y aprendizaje profundo y, pero el splatting intercambia la compacidad neuronal implícita por primitivas explícitas y velocidad de renderización. La investigación activa se centra en la compresión, el reencendido y en modelos híbridos neuronal-explícitos.