A representação de cenas por 3D Gaussian splatting é uma técnica de representação e renderização de cenas que modela uma cena tridimensional como um grande conjunto de gaussianas 3D orientadas e semitransparentes, cada uma com posição, forma, cor e opacidade. Introduzida no artigo da SIGGRAPH de 2023, "3D Gaussian Splatting for Real-Time Radiance Field Rendering", de Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler e George Drettakis, do Inria e do Instituto Max Planck, ela igualou ou superou a qualidade visual dos campos de radiação neurais enquanto renderizava em taxas de quadros em tempo real, tornando-se rapidamente a abordagem dominante para síntese de novas vistas.
Como funciona
Partindo de uma nuvem de pontos esparsa produzida por estrutura a partir do movimento clássica, cada ponto se torna uma gaussiana 3D cujos parâmetros são otimizados por descida de gradiente para que as renderizações rasterizadas correspondam às fotografias de entrada. Diferentemente de um NeRF, que armazena a cena implicitamente nos pesos de uma rede neural e renderiza por amostragem de raios custosa, o Gaussian splatting é uma representação explícita renderizada por rasterização rápida em GPU: as gaussianas são projetadas, ou "espalhadas", no plano da imagem e combinadas por alpha blending em ordem de profundidade. Durante o treinamento, a densificação e a poda adicionam detalhes onde necessário e removem primitivas redundantes.
Adoção
Em menos de um ano após a publicação, o método se espalhou por efeitos visuais, motores de jogos, mapeamento por drones, captura imobiliária e aplicativos de digitalização por smartphone, com suporte incorporado ao Unreal Engine, Unity e ferramentas de captura para consumidores. Extensões de pesquisa adicionaram cenas dinâmicas, avatares humanos animáveis e integração com pipelines de geração texto-para-3D, onde os splats servem como a representação otimizada. A técnica também alimenta a simulação em IA incorporada e robótica, produzindo ambientes fotorrealistas a partir de captura de vídeo casual.
Relação com o campo
O Gaussian splatting é frequentemente descrito como o sucessor prático do NeRF: ambos pertencem à família de campos de radiação nascida da pesquisa em visão computacional e aprendizado profundo, mas o splatting troca a compactação neural implícita por primitivas explícitas e velocidade de renderização. A pesquisa ativa explora compressão, reiluminação e modelos híbridos neurais-explícitos.