Un campo de radiancia neuronal, o NeRF, es un método para representar una escena tridimensional dentro de una red neuronal. Dadas unas pocas docenas de fotografías de una escena con posiciones de cámara conocidas, un NeRF aprende una función que asigna cualquier coordenada 3D y dirección de visualización a color y densidad; el renderizado a lo largo de los rayos de la cámara produce entonces imágenes fotorrealistas de la escena desde puntos de vista nunca capturados. La técnica, introducida por Ben Mildenhall y sus colegas en UC Berkeley y Google en 2020, reformuló la reconstrucción 3D como un problema de aprendizaje profundo e inició un gran subcampo de investigación.
Cómo funciona
El modelo central es un perceptrón multicapa pequeño entrenado por escena con descenso de gradiente: para cada píxel de cada foto de entrenamiento, se muestrean puntos a lo largo del rayo de la cámara, la red predice color y densidad en cada punto, y el renderizado volumétrico los combina en un color de píxel que se compara con la verdad fundamental. La escena misma se convierte en los pesos de la red, una representación compacta y continua de geometría y apariencia almacenada como una representación aprendida en lugar de mallas o vóxeles.
Evolución y sucesores
Los primeros NeRF tardaban horas en entrenarse y segundos en renderizar un solo fotograma. Trabajos posteriores como Instant-NGP de NVIDIA (2022) redujeron el entrenamiento a segundos utilizando codificaciones de cuadrícula hash y optimización de GPU, y cientos de variantes abordaron escenas dinámicas, reflejos y entornos a gran escala. En 2023, el splatting gaussiano 3D desplazó a NeRF en muchas aplicaciones al ofrecer calidad comparable con renderizado en tiempo real, aunque las representaciones implícitas de estilo NeRF siguen siendo influyentes en la investigación sobre modelos del mundo y simulación robótica.
Aplicaciones
Las técnicas NeRF aparecen en fotogrametría, efectos visuales, captura de productos de comercio electrónico y cartografía, incluida la Vista Inmersiva de Google. En generación de texto a 3D sirvieron como la representación 3D subyacente optimizada por sistemas tempranos como DreamFusion (2022). También informan la investigación en IA encarnada y visión por computador, donde se utilizan gemelos digitales fotorrealistas de espacios reales para entrenar robots en simulación.