Um campo de radiação neural, ou NeRF, é um método para representar uma cena tridimensional dentro de uma rede neural. Dadas algumas dezenas de fotografias de uma cena com posições de câmera conhecidas, um NeRF aprende uma função que mapeia qualquer coordenada 3D e direção de visualização para cor e densidade; a renderização ao longo dos raios da câmera então produz imagens fotorrealistas da cena a partir de pontos de vista nunca capturados. A técnica, introduzida por Ben Mildenhall e colegas da UC Berkeley e Google em 2020, reformulou a reconstrução 3D como um problema de aprendizado profundo e iniciou um grande subcampo de pesquisa.
Como funciona
O modelo central é um pequeno perceptron multicamadas treinado por cena com descida de gradiente: para cada pixel de cada foto de treinamento, pontos são amostrados ao longo do raio da câmera, a rede prevê cor e densidade em cada ponto, e a renderização volumétrica os compõe em uma cor de pixel que é comparada com a verdade básica. A cena em si se torna os pesos da rede, uma representação compacta e contínua de geometria e aparência armazenada como uma representação aprendida em vez de malhas ou voxels.
Evolução e sucessores
Os primeiros NeRFs levavam horas para treinar e segundos para renderizar um único quadro. Trabalhos subsequentes, como o Instant-NGP da NVIDIA (2022), reduziram o treinamento para segundos usando codificações de grade hash e otimização em GPU, e centenas de variantes abordaram cenas dinâmicas, reflexos e ambientes em grande escala. Em 2023, o splatting gaussiano 3D deslocou o NeRF em muitas aplicações ao oferecer qualidade comparável com renderização em tempo real, embora representações implícitas no estilo NeRF permaneçam influentes na pesquisa sobre modelos de mundo e simulação robótica.
Aplicações
Técnicas de NeRF aparecem em fotogrametria, efeitos visuais, captura de produtos para comércio eletrônico e mapeamento, incluindo o Immersive View do Google. Na geração texto-para-3D, elas serviram como a representação 3D subjacente otimizada por sistemas iniciais como o DreamFusion (2022). Elas também informam a pesquisa em IA incorporada e visão computacional, onde gêmeos digitais fotorrealistas de espaços reais são usados para treinar robôs em simulação.