Um campo de radiação neural (NeRF) é um campo neural usado para reconstruir uma representação tridimensional de uma cena a partir de imagens bidimensionais. O modelo permite aplicações downstream, como síntese de novas vistas, reconstrução da geometria da cena e obtenção das propriedades de refletância da cena. Propriedades adicionais, como poses de câmera, também podem ser aprendidas em conjunto. Introduzido pela primeira vez em 2020, o NeRF ganhou atenção significativa em computação gráfica e criação de conteúdo.
A ideia central é representar uma cena como uma função contínua aproximada por uma rede neural. Dada uma localização espacial e uma direção de visualização, a rede produz cor e densidade, permitindo que a renderização volumétrica tradicional gere imagens a partir de pontos de vista arbitrários.
Algoritmo
O algoritmo NeRF representa uma cena como um campo de radiação parametrizado por uma rede neural profunda. A rede prevê densidade volumétrica e radiação emitida dependente da vista, dada uma coordenada 3D (x, y, z) e uma direção de visualização em ângulos de Euler. Ao amostrar muitos pontos ao longo dos raios da câmera, técnicas tradicionais de renderização volumétrica produzem uma imagem.
O processo é totalmente diferenciável. Para cada raio de câmera, a rede amostra pontos, prevê densidade e cor e os compõe em um valor de pixel renderizado. Esse design permite a otimização direta em relação às imagens de entrada usando descida de gradiente, incentivando a rede a aprender um modelo volumétrico coerente.
Coleta de dados
Um NeRF deve ser retreinado para cada cena única. O primeiro passo envolve coletar imagens de diferentes ângulos, juntamente com suas poses de câmera. Imagens 2D padrão são suficientes; nenhuma câmera ou software especializado é necessário. Qualquer câmera pode gerar conjuntos de dados, desde que as configurações e os métodos de captura atendam aos requisitos de estrutura a partir do movimento (SfM).
A posição e a orientação da câmera devem ser rastreadas, muitas vezes por meio de uma combinação de localização e mapeamento simultâneos (SLAM), GPS ou estimativa inercial. Pesquisadores frequentemente usam dados sintéticos para avaliação, pois imagens renderizadas por métodos tradicionais não aprendidos fornecem poses de câmera reproduzíveis e sem erros.
Treinamento
Para cada ponto de vista esparso fornecido, raios de câmera são percorridos pela cena para gerar pontos 3D com direções de radiação correspondentes em direção à câmera. O perceptron multicamadas (MLP) prevê densidade volumétrica e radiação emitida para esses pontos. A renderização volumétrica clássica então produz uma imagem. Como o pipeline é totalmente diferenciável, o erro entre a imagem prevista e a original é minimizado usando descida de gradiente em vários pontos de vista, guiando o MLP em direção a um modelo 3D coerente.
Variações e melhorias
As primeiras versões do NeRF otimizavam lentamente e exigiam que todas as vistas de entrada fossem capturadas com a mesma câmera sob iluminação consistente. Elas funcionavam melhor com tomadas em órbita ao redor de objetos individuais, como uma bateria, plantas ou pequenos brinquedos. Desde 2020, melhorias substanciais expandiram a usabilidade e aceleraram o treinamento.
Mapeamento de características de Fourier
Pouco depois do artigo original de 2020, o mapeamento de características de Fourier melhorou a velocidade e a precisão do treinamento. Redes neurais profundas frequentemente têm dificuldade em aprender funções de alta frequência em domínios de baixa dimensão, um fenômeno conhecido como viés espectral. Para superar isso, os pontos de entrada são mapeados para um espaço de características de dimensão superior antes de serem alimentados ao MLP. O mapeamento usa transformações de seno e cosseno com múltiplos vetores de frequência, permitindo que a rede represente textura geométrica fina e detalhes.
Outros desenvolvimentos
Avanços subsequentes incluem estratégias de amostragem hierárquica que alocam mais amostras perto de superfícies, variantes sensíveis à exposição e à iluminação e métodos que incorporam prioris de profundidade para convergência mais rápida. Algumas versões combinam NeRF com estruturas de aprendizado de máquina para estimar parâmetros de câmera diretamente, reduzindo o fardo do pré-processamento. Implementações eficientes usando grades ou representações híbridas reduziram os tempos de treinamento de horas para minutos.
Aplicações
A tecnologia NeRF suporta uma variedade de casos de uso em IA generativa e computação gráfica. Criadores de conteúdo a usam para gerar vistas em órbita de objetos a partir de fotos esparsas, aprimorando museus virtuais e produtos de varejo. A técnica também suporta extração de geometria de cena para preservação do patrimônio cultural e robótica. O requisito inerente de densidade específica de pontos de vista continua a limitar aplicações em tempo real, embora pesquisas em andamento busquem resolver isso.
A interação com o aprendizado profundo posicionou o NeRF como uma técnica central para renderização de cenas e compreensão de cenas 3D, frequentemente explorada nas comunidades de visão computacional e computação gráfica. Empresas como Google DeepMind e laboratórios acadêmicos contribuíram com trabalhos de acompanhamento significativos.
Ver também
- Aprendizado de máquina
- renderização volumétrica
- síntese de novas vistas
- estrutura a partir do movimento