3D 가우시안 스플래팅은 3차원 장면을 위치, 형태, 색상 및 불투명도를 각각 가진 수많은 방향성 반투명 3D 가우시안의 집합으로 모델링하는 장면 표현 및 렌더링 기법이다. 2023년 SIGGRAPH 논문 "3D Gaussian Splatting for Real-Time Radiance Field Rendering"에서 Inria와 막스 플랑크 연구소의 Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler, George Drettakis가 발표한 이 기법은 신경 방사선 필드의 시각적 품질에 필적하거나 이를 능가하면서 실시간 프레임 속도로 렌더링하여 새로운 시점 합성의 지배적인 접근 방식이 되었다.
작동 원리
고전적인 구조 기반 모션으로 생성된 희소 점군에서 시작하여 각 점은 3D 가우시안이 되며, 그 매개변수는 경사 하강법에 의해 최적화되어 래스터화된 렌더링이 입력 사진과 일치하게 된다. 장면을 신경망 가중치에 암시적으로 저장하고 비용이 많이 드는 광선 샘플링으로 렌더링하는 NeRF와 달리, 가우시안 스플래팅은 빠른 GPU 래스터화로 렌더링되는 명시적 표현이다. 가우시안은 이미지 평면에 투영(또는 "스플래팅")되어 깊이 순서대로 알파 블렌딩된다. 훈련 중 밀집화 및 가지치기는 필요한 곳에 세부 정보를 추가하고 중복 프리미티브를 제거한다.
채택
발표 후 1년 이내에 이 기법은 시각 효과, 게임 엔진, 드론 매핑, 부동산 캡처 및 스마트폰 스캐닝 앱에 확산되었으며, Unreal Engine, Unity 및 소비자용 캡처 도구에 지원이 추가되었다. 연구 확장은 동적 장면, 애니메이션 가능한 인간 아바타, 그리고 스플랫이 최적화된 표현으로 사용되는 텍스트-3D 생성 파이프라인과의 통합을 추가했다. 이 기법은 또한 임베디드 AI 및 로봇 시뮬레이션에 공급되어 캐주얼 비디오 캡처에서 사실적인 환경을 생성한다.
분야와의 관계
가우시안 스플래팅은 종종 NeRF의 실용적 후속작으로 설명된다. 둘 다 컴퓨터 비전 및 딥러닝 연구에서 탄생한 방사선 필드 계열에 속하지만, 스플래팅은 암시적 신경망의 압축성을 명시적 프리미티브와 렌더링 속도로 맞바꾼다. 활발한 연구는 압축, 재조명 및 하이브리드 신경-명시적 모델을 탐구하고 있다.