Un champ de radiance neuronal (NeRF) est un champ de radiance neuronal utilisé pour reconstruire une représentation tridimensionnelle d'une scène à partir d'images bidimensionnelles. Le modèle permet des applications en aval telles que la synthèse de nouvelles vues, la reconstruction de la géométrie de la scène et l'obtention des propriétés de réflectance de la scène. Des propriétés supplémentaires comme les poses de caméra peuvent également être apprises conjointement. Introduit pour la première fois en 2020, le NeRF a suscité un intérêt considérable dans l'infographie et la création de contenu.
L'idée centrale est de représenter une scène comme une fonction continue approximée par un réseau de neurones. Étant donné un emplacement spatial et une direction de vue, le réseau génère une couleur et une densité, permettant ainsi un rendu volumétrique traditionnel pour produire des images depuis des points de vue arbitraires.
Algorithme
L'algorithme NeRF représente une scène comme un champ de radiance paramétré par un réseau de neurones profond. Le réseau prédit la densité volumétrique et la radiance dépendante de la vue pour un point de coordonnées (x, y, z) et une direction de vue donnée en angles d'Euler. En échantillonnant de nombreux points le long des rayons de caméra, les techniques de rendu volumétrique traditionnelles produisent une image.
Le processus est entièrement différentiable. Pour chaque rayon de caméra, le réseau échantillonne des points, prédit la densité et la couleur, puis les compose pour obtenir la valeur du pixel rendu. Cette conception permet une optimisation directe par rapport aux images d'entrée en utilisant la descente de gradient, encourageant le réseau à apprendre un modèle volumétrique cohérent.
Collecte de données
Un NeRF doit être réentraîné pour chaque scène unique. La première étape consiste à collecter des images sous différents angles ainsi que leurs poses de caméra. Des images 2D standard suffisent ; aucun équipement ou logiciel spécialisé n'est requis. Tout appareil photo peut générer les ensembles de données, à condition que les réglages et les méthodes de capture répondent aux exigences de la structure par la motion (SfM).
La position et l'orientation de la caméra doivent être suivies, souvent par une combinaison de localisation et cartographie simultanées (SLAM), de GPS ou d'estimation par capteurs inertiels. Les chercheurs utilisent fréquemment des données synthétiques pour l'évaluation, car les images générées par des méthodes non apprises traditionnelles fournissent des poses de caméra reproductibles et sans erreur.
Entraînement
Pour chaque vue fournie, des rayons sont projetés à travers la scène pour générer des points 3D avec des directions de radiance correspondantes vers la caméra. Le perceptron multicouche (MLP) prédit la densité volumétrique et la radiance émise pour ces points. Le rendu volumétrique classique produit ensuite une image. Comme le pipeline est entièrement différentiable, l'erreur entre l'image prédite et l'image d'origine est minimisée par descente de gradient sur plusieurs vues, guidant le MLP vers un modèle 3D cohérent.
Variations et améliorations
Les premières versions de NeRF optimisaient lentement et exigeaient que toutes les vues d'entrée soient capturées avec la même caméra sous un éclairage constant. Elles donnaient les meilleurs résultats avec des prises de vue orbitant autour d'objets individuels comme une batterie de batterie, des plantes ou de petits jouets. Depuis 2020, des améliorations substantielles ont élargi son utilisation et accéléré l'entraînement.
Cartographie de caractéristiques de Fourier
Peu après l'article original de 2020, la cartographie de caractéristiques de Fourier a amélioré la vitesse et la précision d'entraînement. Les réseaux de neurones profonds ont souvent du mal à apprendre des fonctions à haute fréquence dans des domaines de faible dimension, un phénomène connu sous le nom de biais spectral. Pour y remédier, les points d'entrée sont projetés dans un espace de caractéristiques de dimension supérieure avant d'être introduits dans le MLP. Cette transformation utilise des fonctions sinus et cosinus avec plusieurs vecteurs de fréquence, permettant au réseau de représenter des détails géométriques fins et des textures.
Autres développements
Les avancées ultérieures incluent des stratégies d'échantillonnage hiérarchique qui allouent plus d'échantillons près des surfaces, des variantes sensibles à l'exposition et à l'éclairage, ainsi que des méthodes intégrant des priorités de profondeur pour une convergence plus rapide. Certaines versions combinent NeRF avec des cadres d'apprentissage automatique pour estimer directement les paramètres de caméra, réduisant ainsi la charge de prétraitement. Des implémentations efficaces utilisant des grilles ou des représentations hybrides ont réduit les temps d'entraînement de plusieurs heures à quelques minutes.
Applications
La technologie NeRF prend en charge une gamme de cas d'utilisation dans l'IA générative et l'infographie. Les créateurs de contenu l'utilisent pour générer des vues dynamiques d'objets à partir de photos, améliorant les musées virtuels et les produits de vente au détail. La technique permet également l'extraction de la géométrie de scène pour la préservation du patrimoine culturel et la robotique. L'exigence inhérente d'une densité de points de vue spécifique limite encore les applications en temps réel, bien que des recherches en cours cherchent à résoudre ce problème.
L'interaction avec l'apprentissage profond a positionné NeRF comme une technique centrale pour le rendu de scènes et la compréhension 3D, souvent explorée au sein des communautés de vision par ordinateur et d'infographie. Des entreprises comme Google DeepMind et des laboratoires universitaires ont contribué à d'importants travaux de suivi.
Voir aussi
- Apprentissage automatique
- rendu volumétrique
- synthèse de nouvelles vues
- structure par la motion