3D高斯溅射是一种场景表示与渲染技术,将三维场景建模为大量定向、半透明的3D高斯体,每个高斯体具有位置、形状、颜色和透明度。该技术首次在2023年SIGGRAPH论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》中提出,作者为来自Inria和马普所的Bernhard Kerbl、Georgios Kopanas、Thomas Leimkuehler和George Drettakis,其视觉质量达到或超过了神经辐射场,同时实现实时帧率渲染,并迅速成为新视角合成的主要方法。
工作原理
从经典的运动恢复结构产生的稀疏点云出发,每个点变成一个3D高斯,其参数通过梯度下降优化,使光栅化渲染结果与输入照片匹配。与NeRF不同,NeRF将场景隐式存储在神经网络权重中,并通过昂贵的射线采样进行渲染,而高斯溅射是一种显式表示,通过快速GPU光栅化实现:高斯被投影(或“溅射”)到图像平面,并按深度顺序进行alpha混合。训练过程中的密集化和剪枝在需要的位置添加细节并移除冗余图元。
应用采纳
发布后一年内,该方法迅速进入视觉特效、游戏引擎、无人机测绘、房地产捕获和智能手机扫描应用等各领域,并在Unreal Engine、Unity及消费级捕获工具中得到支持。研究扩展增加了动态场景、可动画化的人体化身以及与文本到3D生成流水线的集成,其中溅射图作为优化表示。该技术还支持具身AI和机器人仿真,从随意视频捕获中生成照片级真实环境。
领域关系
高斯溅射常被描述为NeRF的实际继任者:两者都属于辐射场家族,源自计算机视觉和深度学习研究,但溅射技术以显式图元和渲染速度换取隐式神经紧凑性。当前研究热点包括压缩、重光照和混合神经显式模型。