3Dガウシアンスプラッティングは、シーン表現およびレンダリング技術であり、三次元シーンを、それぞれが位置、形状、色、不透明度を持つ、配向された半透明の3Dガウシアンの大規模な集合としてモデル化する。2023年のSIGGRAPH論文「3D Gaussian Splatting for Real-Time Radiance Field Rendering」において、Inriaおよびマックス・プランク研究所のBernhard Kerbl、Georgios Kopanas、Thomas Leimkuehler、George Drettakisによって発表され、リアルタイムのフレームレートでレンダリングしながら、ニューラルラディアンスフィールドの視覚品質に匹敵するかそれを上回り、新しい視点合成の支配的なアプローチとなった。
仕組み
古典的な構造復元によって生成された疎な点群から始まり、各点は3Dガウシアンとなり、そのパラメータは勾配降下法によって最適化され、ラスタライズされたレンダリングが入力写真と一致するように調整される。シーンを暗黙的にニューラルネットワークの重みに格納し、コストのかかるレイサンプリングでレンダリングするNeRFとは異なり、ガウシアンスプラッティングは明示的な表現であり、高速なGPUラスタライゼーションによってレンダリングされる。ガウシアンは画像平面上に投影、すなわち「スプラッティング」され、深度順にアルファブレンディングされる。トレーニング中の高密度化とプルーニングにより、必要な箇所に詳細が追加され、冗長なプリミティブが除去される。
採用
発表から1年以内に、この手法は視覚効果、ゲームエンジン、ドローンマッピング、不動産キャプチャ、スマートフォンスキャンアプリに広がり、Unreal Engine、Unity、および消費者向けキャプチャツールへのサポートが追加された。研究の拡張により、動的シーン、アニメーション可能な人間のアバター、およびスプラットが最適化された表現として機能するテキストから3D生成パイプラインとの統合が追加された。この技術はまた、身体化AIやロボティクスシミュレーションにも供給され、カジュアルなビデオキャプチャからフォトリアルな環境を生成する。
分野との関係
ガウシアンスプラッティングは、しばしばNeRFの実用的な後継者として説明される。両者はコンピュータビジョンおよび深層学習研究から生まれたラディアンスフィールドファミリーに属するが、スプラッティングは暗黙的なニューラルのコンパクトさを、明示的なプリミティブとレンダリング速度と交換する。圧縮、再照明、およびハイブリッドなニューラル明示モデルに関する活発な研究が進められている。