Instant NGP (Instant Neural Graphics Primitives) es una técnica desarrollada por NVIDIA para acelerar el entrenamiento y el renderizado de campos de radiación neuronal (NeRF) y otras primitivas gráficas neuronales. Introducida en 2022, combina un codificado hash multirresolución con una red neuronal compacta para lograr aceleraciones de varios órdenes de magnitud en comparación con las implementaciones convencionales de NeRF. El método permite una reconstrucción de escenas de alta calidad y un renderizado en tiempo real en una sola GPU, lo que lo hace ampliamente adoptado en aplicaciones de gráficos por computadora, robótica y realidad virtual.
La innovación central de Instant NGP es su codificado hash multirresolución, que reemplaza el codificado posicional de alta dimensión utilizado en los modelos NeRF anteriores. Este codificado mapea las coordenadas de entrada a un conjunto de vectores de características aprendibles almacenados en una tabla hash multinivel. Cada nivel captura características a una resolución espacial diferente, lo que permite a la red representar detalles finos de manera eficiente. La tabla hash se optimiza durante el entrenamiento, y el uso de colisiones hash se mitiga mediante la capacidad de la red para aprender a desambiguarlas. Este enfoque reduce drásticamente el costo computacional de consultar la red neuronal, ya que los vectores de características se indexan directamente en lugar de calcularse mediante una gran capa totalmente conectada.
Entrenamiento y rendimiento
Instant NGP logra tiempos de entrenamiento de unos pocos segundos a unos pocos minutos para una escena típica, en comparación con horas o días para los métodos NeRF anteriores. Por ejemplo, una escena de 360 grados capturada con unos pocos cientos de imágenes puede entrenarse en menos de 30 segundos en una GPU NVIDIA RTX 3090. El método también admite renderizado en tiempo real a velocidades de cuadro interactivas, lo que permite aplicaciones como inspección de objetos virtuales y telepresencia. La implementación está disponible como un proyecto de código abierto, con una biblioteca basada en CUDA que se integra con marcos de aprendizaje profundo populares como PyTorch y TensorFlow.
Aplicaciones
Instant NGP se ha aplicado a una variedad de tareas más allá de la síntesis de vistas novedosas. Admite funciones de distancia con signo (SDF) para reconstrucción de superficies, almacenamiento en caché de radiación neuronal para iluminación global en tiempo real y renderizado volumétrico para imágenes médicas. En robótica, permite un mapeo rápido de escenas para navegación y manipulación. La técnica también se utiliza en herramientas de creación de contenido, lo que permite a los artistas capturar y editar escenas 3D a partir de fotografías o videos. Su velocidad y flexibilidad lo han convertido en una línea base estándar en muchos proyectos de investigación y productos comerciales.
Detalles técnicos
La arquitectura de Instant NGP consiste en un perceptrón multicapa (MLP) pequeño con unas pocas capas ocultas, típicamente de 2 a 4 capas con 64 a 128 unidades. La entrada al MLP es la concatenación de las coordenadas codificadas y la dirección de visión opcional. El codificado hash utiliza una cuadrícula de resoluciones, cada una con un número fijo de dimensiones de características (por ejemplo, de 2 a 4). La función hash es un hash espacial simple, y los vectores de características se inicializan aleatoriamente. Durante el entrenamiento, la red y la tabla hash se optimizan conjuntamente utilizando variantes de descenso de gradiente estocástico como Adam. La función de pérdida es típicamente una pérdida fotométrica entre las imágenes renderizadas y las de verdad fundamental, a menudo combinada con términos de regularización para suavidad.
Impacto y legado
Instant NGP ha influido significativamente en el campo del renderizado neuronal, haciendo que los métodos basados en NeRF sean prácticos para uso en el mundo real. Ha inspirado trabajos posteriores que se basan en su esquema de codificado, como cuadrículas hash multirresolución para otros campos neuronales. La técnica es parte de los esfuerzos más amplios de NVIDIA en IA generativa y aprendizaje automático, y se ha integrado en herramientas como NVIDIA Omniverse. Su lanzamiento de código abierto ha facilitado una adopción generalizada en la academia y la industria, contribuyendo a avances en gráficos por computadora y visión por computadora.
Conceptos relacionados
Instant NGP está estrechamente relacionado con las arquitecturas de red neuronal utilizadas en aprendizaje profundo, particularmente aquellas para representación de escenas 3D. Aprovecha el codificado posicional de una manera novedosa, y su entrenamiento depende de optimizador Adam y funciones de pérdida. El método a menudo se compara con enfoques basados en redes residuales para síntesis de imágenes, aunque opera en coordenadas continuas en lugar de cuadrículas discretas. Su eficiencia también ha habilitado aplicaciones en aumento de datos para generar datos de entrenamiento sintéticos.