Ein neurales Strahlungsfeld, kurz NeRF, ist eine Methode zur Darstellung einer dreidimensionalen Szene in einem neuronalen Netzwerk. Mit einigen Dutzend Fotografien einer Szene mit bekannten Kamerapositionen lernt ein NeRF eine Funktion, die jede 3D-Koordinate und Blickrichtung auf Farbe und Dichte abbildet; das Rendern entlang von Kamerastrahlen erzeugt dann fotorealistische Bilder der Szene aus Blickwinkeln, die nie aufgenommen wurden. Die Technik, eingeführt von Ben Mildenhall und Kollegen an der UC Berkeley und Google im Jahr 2020, definierte die 3D-Rekonstruktion als Deep-Learning-Problem neu und startete ein großes Forschungsfeld.
Funktionsweise
Das Kernmodell ist ein kleines mehrschichtiges Perzeptron, das pro Szene mit Gradientenabstieg trainiert wird: Für jedes Pixel jedes Trainingsfotos werden Punkte entlang des Kamerastrahls abgetastet, das Netzwerk sagt Farbe und Dichte an jedem Punkt voraus, und volumetrisches Rendering kombiniert sie zu einer Pixelfarbe, die mit der Grundwahrheit verglichen wird. Die Szene selbst wird zu den Gewichten des Netzwerks, einer kompakten und kontinuierlichen Darstellung von Geometrie und Erscheinung, die als eine gelernte Darstellung statt als Netze oder Voxel gespeichert wird.
Entwicklung und Nachfolger
Frühe NeRFs benötigten Stunden zum Training und Sekunden zum Rendern eines einzelnen Bildes. Folgearbeiten wie NVIDIAs Instant-NGP (2022) verkürzten das Training auf Sekunden mithilfe von Hash-Grid-Codierungen und GPU-Optimierung, und Hunderte von Varianten behandelten dynamische Szenen, Reflexionen und Umgebungen in großem Maßstab. Im Jahr 2023 verdrängte 3D-Gaussian-Splatting NeRF für viele Anwendungen, indem es vergleichbare Qualität mit Echtzeit-Rendering bot, obwohl NeRF-artige implizite Darstellungen in der Forschung zu Weltmodellen und Robotiksimulation einflussreich bleiben.
Anwendungen
NeRF-Techniken finden sich in Fotogrammetrie, visuellen Effekten, Produkterfassung im E-Commerce und Kartierung, einschließlich Googles Immersive View. In der Text-zu-3D-Generierung dienten sie als zugrunde liegende 3D-Darstellung, die von frühen Systemen wie DreamFusion (2022) optimiert wurde. Sie fließen auch in die Forschung zu verkörperter KI und Computer Vision ein, wo fotorealistische digitale Zwillinge realer Räume zum Training von Robotern in Simulation verwendet werden.