Ein neuronales Strahlungsfeld (NeRF) ist ein neuronales Feld, das zur Rekonstruktion einer dreidimensionalen Darstellung einer Szene aus zweidimensionalen Bildern verwendet wird. Das Modell ermöglicht nachgelagerte Anwendungen wie die Synthese neuartiger Ansichten, die Rekonstruktion der Szenengeometrie und die Ermittlung der Reflexionseigenschaften der Szene. Zusätzliche Eigenschaften wie Kameraposen können ebenfalls gemeinsam gelernt werden. Erstmals 2020 eingeführt, hat NeRF in der Computergrafik und der Inhaltserstellung erhebliche Aufmerksamkeit erlangt.
Die Kernidee besteht darin, eine Szene als kontinuierliche Funktion darzustellen, die durch ein neuronales Netz approximiert wird. Bei einer gegebenen räumlichen Position und Blickrichtung gibt das Netzwerk Farbe und Dichte aus, sodass traditionelles Volumen-Rendering Bilder aus beliebigen Blickwinkeln erzeugen kann.
Algorithmus
Der NeRF-Algorithmus stellt eine Szene als ein Strahlungsfeld dar, das durch ein tiefes neuronales Netz parametrisiert wird. Das Netzwerk sagt die Volumendichte und die blickrichtungsabhängige emittierte Strahlung bei einer gegebenen 3D-Koordinate (x, y, z) und einer Blickrichtung in Euler-Winkeln voraus. Durch die Abtastung vieler Punkte entlang von Kamerastrahlen erzeugen traditionelle Volumen-Rendering-Techniken ein Bild.
Der Prozess ist vollständig differenzierbar. Für jeden Kamerastrahl tastet das Netzwerk Punkte ab, sagt Dichte und Farbe voraus und setzt sie zu einem gerenderten Pixelwert zusammen. Dieses Design ermöglicht eine direkte Optimierung gegen Eingabebilder mittels Gradientenabstieg, was das Netzwerk dazu anregt, ein kohärentes volumetrisches Modell zu lernen.
Datenerfassung
Ein NeRF muss für jede einzigartige Szene neu trainiert werden. Der erste Schritt umfasst das Sammeln von Bildern aus verschiedenen Winkeln zusammen mit ihren Kameraposen. Standard-2D-Bilder genügen; es ist keine spezielle Kamera oder Software erforderlich. Jede Kamera kann Datensätze erzeugen, sofern die Einstellungen und Aufnahmemethoden die Anforderungen der Structure-from-Motion (SfM) erfüllen.
Kameraposition und -orientierung müssen verfolgt werden, oft durch eine Kombination aus Simultaneous Localization and Mapping (SLAM), GPS oder Trägheitsschätzung. Forscher verwenden häufig synthetische Daten zur Evaluierung, da Bilder, die durch traditionelle, nicht gelernte Methoden gerendert werden, reproduzierbare und fehlerfreie Kameraposen liefern.
Training
Für jede bereitgestellte spärliche Ansicht werden Kamerastrahlen durch die Szene geführt, um 3D-Punkte mit entsprechenden Strahlungsrichtungen in die Kamera zu erzeugen. Das mehrschichtige Perzeptron (MLP) sagt Volumendichte und emittierte Strahlung für diese Punkte voraus. Klassisches Volumen-Rendering erzeugt dann ein Bild. Da die Pipeline vollständig differenzierbar ist, wird der Fehler zwischen dem vorhergesagten und dem ursprünglichen Bild mittels Gradientenabstieg über mehrere Ansichten minimiert, was das MLP zu einem kohärenten 3D-Modell führt.
Variationen und Verbesserungen
Frühe Versionen von NeRF optimierten langsam und erforderten, dass alle Eingabeansichten mit derselben Kamera unter konsistenter Beleuchtung aufgenommen wurden. Sie funktionierten am besten mit umkreisenden Aufnahmen einzelner Objekte wie eines Schlagzeugs, von Pflanzen oder kleinen Spielzeugen. Seit 2020 haben erhebliche Verbesserungen die Benutzerfreundlichkeit erweitert und das Training beschleunigt.
Fourier-Feature-Mapping
Kurz nach dem ursprünglichen Paper von 2020 verbesserte das Fourier-Feature-Mapping Trainingsgeschwindigkeit und Genauigkeit. Tiefe neuronale Netze haben oft Schwierigkeiten, hochfrequente Funktionen in niedrigdimensionalen Bereichen zu lernen, ein Phänomen, das als spektrale Verzerrung bekannt ist. Um dies zu überwinden, werden Eingabepunkte in einen höherdimensionalen Merkmalsraum abgebildet, bevor sie in das MLP eingespeist werden. Die Abbildung verwendet Sinus- und Kosinus-Transformationen mit mehreren Frequenzvektoren, sodass das Netzwerk feine geometrische Texturen und Details darstellen kann.
Andere Entwicklungen
Nachfolgende Fortschritte umfassen hierarchische Abtaststrategien, die mehr Abtastpunkte in der Nähe von Oberflächen zuweisen, belichtungs- und beleuchtungsbewusste Varianten sowie Methoden, die Tiefen-Priors für eine schnellere Konvergenz integrieren. Einige Versionen verbinden NeRF mit Lern-Frameworks, um Kameraparameter direkt zu schätzen, wodurch der Vorverarbeitungsaufwand reduziert wird. Effiziente Implementierungen unter Verwendung von Gittern oder hybriden Darstellungen haben die Trainingszeiten von Stunden auf Minuten verkürzt.
Anwendungen
Die NeRF-Technologie unterstützt eine Reihe von Anwendungsfällen in generativer KI und Computergrafik. Inhaltsersteller nutzen sie, um Überflugansichten von Objekten aus spärlichen Fotos zu erzeugen, was virtuelle Museen und Einzelhandelsprodukte verbessert. Die Technik unterstützt auch die Extraktion von Szenengeometrie für die Erhaltung des kulturellen Erbes und die Robotik. Die inhärente Anforderung an eine bestimmte Ansichtsdichte begrenzt weiterhin Echtzeitanwendungen, obwohl laufende Forschung darauf abzielt, dies zu adressieren.
Das Zusammenspiel mit Deep Learning hat NeRF als zentrale Technik für Szenen-Rendering und 3D-Szenenverständnis positioniert, die oft in den Communities für Computer Vision und Computergrafik untersucht wird. Firmen wie Google DeepMind und akademische Labore haben bedeutende Folgearbeiten beigetragen.
Siehe auch
- Maschinelles Lernen
- Volumen-Rendering
- Synthese neuartiger Ansichten
- Structure from Motion