Un campo de radiación neuronal (NeRF) es un campo neuronal utilizado para reconstruir una representación tridimensional de una escena a partir de imágenes bidimensionales. El modelo permite aplicaciones posteriores como la síntesis de vistas novedosas, la reconstrucción de la geometría de la escena y la obtención de propiedades de reflectancia de la escena. Propiedades adicionales, como las poses de la cámara, también pueden aprenderse de manera conjunta. Introducido por primera vez en 2020, NeRF ha ganado una atención significativa en gráficos por computadora y creación de contenido.
La idea central es representar una escena como una función continua aproximada por una red neuronal. Dada una ubicación espacial y una dirección de visualización, la red produce color y densidad, lo que permite que el renderizado volumétrico tradicional genere imágenes desde puntos de vista arbitrarios.
Algoritmo
El algoritmo NeRF representa una escena como un campo de radiación parametrizado por una red neuronal profunda. La red predice la densidad volumétrica y la radiación emitida dependiente de la vista, dada una coordenada 3D (x, y, z) y una dirección de visualización en ángulos de Euler. Al muestrear muchos puntos a lo largo de los rayos de la cámara, las técnicas tradicionales de renderizado volumétrico producen una imagen.
El proceso es completamente diferenciable. Para cada rayo de cámara, la red muestrea puntos, predice densidad y color, y los compone en un valor de píxel renderizado. Este diseño permite la optimización directa contra las imágenes de entrada mediante el descenso de gradiente, lo que impulsa a la red a aprender un modelo volumétrico coherente.
Recopilación de datos
Un NeRF debe reentrenarse para cada escena única. El primer paso implica recopilar imágenes desde diferentes ángulos junto con sus poses de cámara. Las imágenes 2D estándar son suficientes; no se requiere una cámara o software especializado. Cualquier cámara puede generar conjuntos de datos siempre que los ajustes y los métodos de captura cumplan con los requisitos de estructura a partir del movimiento (SfM).
La posición y orientación de la cámara deben rastrearse, a menudo mediante una combinación de localización y mapeo simultáneos (SLAM), GPS o estimación inercial. Los investigadores suelen usar datos sintéticos para la evaluación porque las imágenes renderizadas mediante métodos tradicionales no aprendidos proporcionan poses de cámara reproducibles y sin errores.
Entrenamiento
Para cada vista dispersa proporcionada, se recorren rayos de cámara a través de la escena para generar puntos 3D con direcciones de radiación correspondientes hacia la cámara. El perceptrón multicapa (MLP) predice la densidad volumétrica y la radiación emitida para estos puntos. El renderizado volumétrico clásico produce entonces una imagen. Dado que el proceso es completamente diferenciable, el error entre la imagen predicha y la original se minimiza mediante el descenso de gradiente a través de múltiples vistas, guiando al MLP hacia un modelo 3D coherente.
Variaciones y mejoras
Las versiones tempranas de NeRF optimizaban lentamente y requerían que todas las vistas de entrada se capturaran con la misma cámara bajo una iluminación consistente. Funcionaban mejor con tomas en órbita alrededor de objetos individuales como una batería, plantas o pequeños juguetes. Desde 2020, mejoras sustanciales han ampliado la usabilidad y acelerado el entrenamiento.
Mapeo de características de Fourier
Poco después del artículo original de 2020, el mapeo de características de Fourier mejoró la velocidad de entrenamiento y la precisión. Las redes neuronales profundas a menudo tienen dificultades para aprender funciones de alta frecuencia en dominios de baja dimensión, un fenómeno conocido como sesgo espectral. Para superar esto, los puntos de entrada se mapean a un espacio de características de mayor dimensión antes de ser alimentados al MLP. El mapeo utiliza transformaciones de seno y coseno con múltiples vectores de frecuencia, lo que permite a la red representar textura geométrica fina y detalle.
Otros desarrollos
Los avances posteriores incluyen estrategias de muestreo jerárquico que asignan más muestras cerca de las superficies, variantes sensibles a la exposición y la iluminación, y métodos que incorporan prioridades de profundidad para una convergencia más rápida. Algunas versiones combinan NeRF con marcos de aprendizaje automático para estimar directamente los parámetros de la cámara, reduciendo la carga de preprocesamiento. Las implementaciones eficientes que utilizan cuadrículas o representaciones híbridas han reducido los tiempos de entrenamiento de horas a minutos.
Aplicaciones
La tecnología NeRF admite una variedad de casos de uso en IA generativa y gráficos por computadora. Los creadores de contenido la utilizan para generar vistas de vuelo alrededor de objetos a partir de fotos dispersas, mejorando los museos virtuales y los productos minoristas. La técnica también respalda la extracción de geometría de escenas para la preservación del patrimonio cultural y la robótica. El requisito inherente de una densidad de vistas específica continúa limitando las aplicaciones en tiempo real, aunque la investigación en curso busca abordar esto.
La interacción con el aprendizaje profundo ha posicionado a NeRF como una técnica central para el renderizado de escenas y la comprensión de escenas 3D, a menudo explorada dentro de las comunidades de visión por computadora y gráficos por computadora. Empresas como Google DeepMind y laboratorios académicos han contribuido con un trabajo de seguimiento significativo.
Véase también
- Aprendizaje automático
- renderizado volumétrico
- síntesis de vistas novedosas
- estructura a partir del movimiento