신경 방사 필드(NeRF)는 신경망 내부에서 3차원 장면을 표현하는 방법이다. 알려진 카메라 위치를 가진 장면의 사진 수십 장이 주어지면, NeRF는 임의의 3D 좌표와 시야 방향을 색상과 밀도로 매핑하는 함수를 학습한다. 카메라 광선을 따라 렌더링하면 결코 촬영되지 않은 시점에서도 장면의 사실적인 이미지를 생성할 수 있다. 이 기술은 2020년 UC 버클리와 구글의 벤 밀덴홀(Ben Mildenhall)과 동료들이 도입하여 3D 재구성을 딥러닝 문제로 재정의했으며, 대규모 연구 하위 분야를 시작했다.
작동 방식
핵심 모델은 장면별로 경사 하강법으로 훈련된 소형 다층 퍼셉트론이다. 각 훈련 사진의 각 픽셀에 대해 카메라 광선을 따라 점들을 샘플링하고, 네트워크는 각 점에서 색상과 밀도를 예측하며, 체적 렌더링이 이를 픽셀 색상으로 합성하여 실제 값과 비교한다. 장면 자체는 네트워크의 가중치가 되며, 메시나 복셀 대신 학습된 표현으로 저장된 기하학과 외관의 간결하고 연속적인 표현이다.
진화와 후속 모델
초기 NeRF는 훈련에 수 시간, 단일 프레임 렌더링에 수 초가 걸렸다. NVIDIA의 Instant-NGP(2022)와 같은 후속 작업은 해시 그리드 인코딩과 GPU 최적화를 사용하여 훈련 시간을 수 초로 단축했으며, 수백 가지 변형이 동적 장면, 반사, 대규모 환경을 다루었다. 2023년에는 3D 가우시안 스플래팅이 실시간 렌더링으로 유사한 품질을 제공하면서 많은 응용 분야에서 NeRF를 대체했지만, NeRF 스타일의 암시적 표현은 세계 모델 및 로봇 시뮬레이션 연구에서 여전히 영향력을 유지하고 있다.
응용 분야
NeRF 기술은 사진 측량, 시각 효과, 전자상거래 제품 캡처 및 매핑(구글의 몰입형 뷰 포함)에 사용된다. 텍스트-3D 생성에서는 DreamFusion(2022)과 같은 초기 시스템이 최적화한 기본 3D 표현으로 사용되었다. 또한 체화 AI 및 컴퓨터 비전 연구에도 기여하며, 실제 공간의 사실적인 디지털 트윈을 사용하여 시뮬레이션에서 로봇을 훈련한다.