ニューラルラジアンスフィールド（NeRF）は、ニューラルネットワーク内で三次元シーンを表現する手法である。既知のカメラ位置を持つ数十枚の写真が与えられると、NeRFは任意の3D座標と視線方向を色と密度にマッピングする関数を学習する。カメラ光線に沿ってレンダリングすることで、撮影されていない視点からも写実的なシーン画像を生成できる。この手法は、2020年にUCバークレーとGoogleのベン・ミルデンホールらによって導入され、3D再構築を深層学習の問題として捉え直し、大規模な研究サブフィールドを開始した。
仕組み
コアモデルは、シーンごとに勾配降下法で訓練される小さな多層パーセプトロンである。各訓練写真の各ピクセルについて、カメラ光線に沿って点がサンプリングされ、ネットワークは各点の色と密度を予測し、ボリュームレンダリングがそれらを合成してピクセル色を生成し、正解値と比較される。シーン自体はネットワークの重みとなり、メッシュやボクセルではなく学習された表現として格納される、コンパクトで連続的な幾何学と外観の表現となる。
進化と後継
初期のNeRFは訓練に数時間、単一フレームのレンダリングに数秒を要した。NVIDIAのInstant-NGP（2022年）などの後続研究は、ハッシュグリッドエンコーディングとGPU最適化を用いて訓練を数秒に短縮し、動的シーン、反射、大規模環境に対応する数百の変種が登場した。2023年には、3Dガウススプラッティングがリアルタイムレンダリングで同等の品質を提供し、多くのアプリケーションでNeRFに取って代わったが、NeRFスタイルの暗黙的表現はワールドモデルやロボットシミュレーションの研究において影響力を持ち続けている。
応用
NeRF技術は、写真測量、視覚効果、eコマース製品撮影、マッピング（Googleのイマーシブビューを含む）に登場する。テキストから3D生成では、DreamFusion（2022年）などの初期システムによって最適化される基盤となる3D表現として機能した。また、具現化AIやコンピュータビジョンの研究にも情報を提供しており、実空間の写実的なデジタルツインがシミュレーション内でロボットを訓練するために使用されている。