Instant NGP (Instant Neural Graphics Primitives) est une technique développée par NVIDIA pour accélérer l'entraînement et le rendu des champs de radiance neuronaux (NeRF) et d'autres primitives graphiques neuronales. Introduite en 2022, elle combine un encodage par hachage multi-résolution avec un réseau neuronal compact pour obtenir des accélérations de plusieurs ordres de grandeur par rapport aux implémentations NeRF conventionnelles. La méthode permet une reconstruction de scène de haute qualité et un rendu en temps réel sur un seul GPU, ce qui la rend largement adoptée dans les applications de graphisme informatique, de robotique et de réalité virtuelle.
L'innovation centrale d'Instant NGP est son encodage par hachage multi-résolution, qui remplace l'encodage positionnel haute dimension utilisé dans les modèles NeRF antérieurs. Cet encodage mappe les coordonnées d'entrée vers un ensemble de vecteurs de caractéristiques apprenables stockés dans une table de hachage à plusieurs niveaux. Chaque niveau capture des caractéristiques à une résolution spatiale différente, permettant au réseau de représenter efficacement les détails fins. La table de hachage est optimisée pendant l'entraînement, et l'utilisation de collisions de hachage est atténuée par la capacité du réseau à apprendre à les désambiguïser. Cette approche réduit considérablement le coût de calcul de l'interrogation du réseau neuronal, car les vecteurs de caractéristiques sont directement indexés plutôt que calculés via une grande couche entièrement connectée.
Entraînement et performance
Instant NGP atteint des temps d'entraînement de quelques secondes à quelques minutes pour une scène typique, comparé à des heures ou des jours pour les méthodes NeRF antérieures. Par exemple, une scène à 360 degrés capturée avec quelques centaines d'images peut être entraînée en moins de 30 secondes sur un GPU NVIDIA RTX 3090. La méthode prend également en charge le rendu en temps réel à des fréquences d'images interactives, permettant des applications telles que l'inspection d'objets virtuels et la téléprésence. L'implémentation est disponible en tant que projet open source, avec une bibliothèque basée sur CUDA qui s'intègre aux frameworks d'apprentissage profond populaires comme PyTorch et TensorFlow.
Applications
Instant NGP a été appliqué à une variété de tâches au-delà de la synthèse de nouvelles vues. Il prend en charge les fonctions de distance signée (SDF) pour la reconstruction de surfaces, la mise en cache de radiance neuronale pour l'illumination globale en temps réel, et le rendu volumétrique pour l'imagerie médicale. En robotique, il permet une cartographie rapide de scènes pour la navigation et la manipulation. La technique est également utilisée dans les outils de création de contenu, permettant aux artistes de capturer et d'éditer des scènes 3D à partir de photographies ou de vidéos. Sa vitesse et sa flexibilité en ont fait une référence standard dans de nombreux projets de recherche et produits commerciaux.
Détails techniques
L'architecture d'Instant NGP se compose d'un petit perceptron multicouche (MLP) avec quelques couches cachées, généralement de 2 à 4 couches avec 64 à 128 unités. L'entrée du MLP est la concaténation des coordonnées encodées et de la direction de vue optionnelle. L'encodage par hachage utilise une grille de résolutions, chacune avec un nombre fixe de dimensions de caractéristiques (par exemple, 2 à 4). La fonction de hachage est un hachage spatial simple, et les vecteurs de caractéristiques sont initialisés aléatoirement. Pendant l'entraînement, le réseau et la table de hachage sont optimisés conjointement en utilisant des variantes de descente de gradient stochastique comme Adam. La fonction de perte est typiquement une perte photométrique entre les images rendues et les images de vérité terrain, souvent combinée avec des termes de régularisation pour la lissage.
Impact et héritage
Instant NGP a considérablement influencé le domaine du rendu neuronal, rendant les méthodes basées sur NeRF pratiques pour une utilisation dans le monde réel. Il a inspiré des travaux ultérieurs qui s'appuient sur son schéma d'encodage, tels que les grilles de hachage multi-résolution pour d'autres champs neuronaux. La technique fait partie des efforts plus larges de NVIDIA dans intelligence artificielle générative et apprentissage automatique, et elle a été intégrée dans des outils comme NVIDIA Omniverse. Sa publication en open source a facilité une adoption généralisée dans le milieu académique et l'industrie, contribuant aux avancées en graphisme informatique et vision par ordinateur.
Concepts connexes
Instant NGP est étroitement lié aux architectures de réseaux neuronaux utilisées dans apprentissage profond, en particulier celles pour la représentation de scènes 3D. Il exploite encodage positionnel d'une manière novatrice, et son entraînement repose sur optimiseur Adam et fonctions de perte. La méthode est souvent comparée aux approches basées sur réseaux résiduels pour la synthèse d'images, bien qu'elle opère sur des coordonnées continues plutôt que sur des grilles discrètes. Son efficacité a également permis des applications dans augmentation de données pour générer des données d'entraînement synthétiques.