Un champ de radiance neuronal, ou NeRF, est une méthode pour représenter une scène tridimensionnelle à l'intérieur d'un réseau de neurones. À partir de quelques dizaines de photographies d'une scène avec des positions de caméra connues, un NeRF apprend une fonction qui mappe toute coordonnée 3D et direction de vue à une couleur et une densité ; le rendu le long des rayons de caméra produit alors des images photoréalistes de la scène depuis des points de vue jamais capturés. Cette technique, introduite par Ben Mildenhall et ses collègues à l'UC Berkeley et chez Google en 2020, a reformulé la reconstruction 3D comme un problème de apprentissage profond et a lancé un vaste sous-domaine de recherche.
Comment cela fonctionne
Le modèle central est un petit perceptron multicouche entraîné par scène avec descente de gradient : pour chaque pixel de chaque photo d'entraînement, des points sont échantillonnés le long du rayon de caméra, le réseau prédit la couleur et la densité à chaque point, et le rendu volumétrique les compose en une couleur de pixel comparée à la vérité terrain. La scène elle-même devient les poids du réseau, une représentation compacte et continue de la géométrie et de l'apparence stockée comme une représentation apprise plutôt que comme des maillages ou des voxels.
Évolution et successeurs
Les premiers NeRF prenaient des heures à s'entraîner et des secondes à rendre une seule image. Des travaux ultérieurs tels que l'Instant-NGP de NVIDIA (2022) ont réduit l'entraînement à quelques secondes grâce à des encodages de grille de hachage et à l'optimisation GPU, et des centaines de variantes ont abordé les scènes dynamiques, les réflexions et les environnements à grande échelle. En 2023, le splatting gaussien 3D a déplacé le NeRF pour de nombreuses applications en offrant une qualité comparable avec un rendu en temps réel, bien que les représentations implicites de type NeRF restent influentes dans la recherche sur les modèles du monde et la simulation robotique.
Applications
Les techniques NeRF apparaissent en photogrammétrie, en effets visuels, en capture de produits pour le commerce électronique et en cartographie, y compris dans l'Immersive View de Google. Dans la génération texte-vers-3D, elles ont servi de représentation 3D sous-jacente optimisée par des systèmes précoces comme DreamFusion (2022). Elles informent également la recherche en IA incarnée et en vision par ordinateur, où des jumeaux numériques photoréalistes d'espaces réels sont utilisés pour entraîner des robots en simulation.