신경 방사 필드(NeRF)는 2차원 이미지에서 장면의 3차원 표현을 재구성하는 데 사용되는 신경 필드이다. 이 모델은 새로운 시점 합성, 장면 기하학 재구성, 장면의 반사 특성 획득과 같은 다운스트림 응용 프로그램을 가능하게 한다. 카메라 포즈와 같은 추가 속성도 함께 학습할 수 있다. 2020년에 처음 소개된 NeRF는 컴퓨터 그래픽스와 콘텐츠 제작 분야에서 상당한 주목을 받았다.
핵심 아이디어는 장면을 신경망으로 근사된 연속 함수로 표현하는 것이다. 공간 위치와 시청 방향이 주어지면 네트워크는 색상과 밀도를 출력하며, 전통적인 볼륨 렌더링을 통해 임의의 시점에서 이미지를 생성할 수 있다.
알고리즘
NeRF 알고리즘은 깊은 신경망으로 매개변수화된 방사 필드로 장면을 표현한다. 네트워크는 3D 좌표(x, y, z)와 오일러 각도의 시청 방향이 주어지면 볼륨 밀도와 시점 의존 방출 방사도를 예측한다. 카메라 광선을 따라 많은 점을 샘플링하여 전통적인 볼륨 렌더링 기법으로 이미지를 생성한다.
이 과정은 완전히 미분 가능하다. 각 카메라 광선에 대해 네트워크는 점을 샘플링하고 밀도와 색상을 예측한 다음 렌더링된 픽셀 값으로 합성한다. 이 설계는 경사 하강법을 사용하여 입력 이미지에 대한 직접 최적화를 가능하게 하며, 네트워크가 일관된 볼륨 모델을 학습하도록 유도한다.
데이터 수집
NeRF는 각 고유 장면에 대해 재훈련되어야 한다. 첫 번째 단계는 다양한 각도에서 이미지를 수집하고 카메라 포즈를 함께 기록하는 것이다. 표준 2D 이미지로 충분하며, 특수 카메라나 소프트웨어가 필요하지 않다. 설정과 캡처 방법이 구조-모션(SfM) 요구 사항을 충족한다면 모든 카메라로 데이터 세트를 생성할 수 있다.
카메라 위치와 방향은 종종 동시 로컬라이제이션 및 매핑(SLAM), GPS 또는 관성 추정의 조합을 통해 추적해야 한다. 연구자들은 전통적인 비학습 방법으로 렌더링된 이미지가 재현 가능하고 오류가 없는 카메라 포즈를 제공하므로 평가에 합성 데이터를 자주 사용한다.
훈련
제공된 각 희소 시점에 대해 카메라 광선을 장면을 통해 진행하여 카메라로 향하는 방사 방향이 있는 3D 점을 생성한다. 다층 퍼셉트론(MLP)은 이러한 점에 대한 볼륨 밀도와 방출 방사도를 예측한다. 고전적인 볼륨 렌더링은 그런 다음 이미지를 생성한다. 파이프라인이 완전히 미분 가능하므로 예측 이미지와 원본 이미지 간의 오류는 여러 시점에 걸쳐 경사 하강법으로 최소화되며, MLP를 일관된 3D 모델로 유도한다.
변형 및 개선
초기 버전의 NeRF는 최적화가 느리고 모든 입력 뷰가 일관된 조명 아래 동일한 카메라로 캡처되어야 했다. 드럼 세트, 식물 또는 작은 장난감과 같은 개별 물체 주위의 궤도 촬영에서 가장 잘 작동했다. 2020년 이후 상당한 개선으로 사용성이 확장되고 훈련이 가속화되었다.
푸리에 특징 매핑
원래 2020년 논문 직후, 푸리에 특징 매핑은 훈련 속도와 정확도를 향상시켰다. 깊은 신경망은 저차원 도메인에서 고주파 함수를 학습하는 데 어려움을 겪는 경우가 많으며, 이를 스펙트럼 편향이라고 한다. 이를 극복하기 위해 입력 점은 MLP에 공급되기 전에 더 높은 차원의 특징 공간으로 매핑된다. 매핑은 여러 주파수 벡터를 가진 사인 및 코사인 변환을 사용하여 네트워크가 미세한 기하학적 질감과 세부 사항을 표현할 수 있게 한다.
기타 개발
후속 발전에는 표면 근처에 더 많은 샘플을 할당하는 계층적 샘플링 전략, 노출 및 조명 인식 변형, 더 빠른 수렴을 위한 깊이 사전 정보를 통합하는 방법이 포함된다. 일부 버전은 NeRF를 학습 프레임워크와 혼합하여 카메라 매개변수를 직접 추정하고 전처리 부담을 줄인다. 그리드 또는 하이브리드 표현을 사용하는 효율적인 구현은 훈련 시간을 몇 시간에서 몇 분으로 단축했다.
응용 프로그램
NeRF 기술은 생성 AI 및 컴퓨터 그래픽스의 다양한 사용 사례를 지원한다. 콘텐츠 제작자는 희소한 사진에서 객체의 비행 주변 뷰를 생성하여 가상 박물관과 소매 제품을 향상시킨다. 이 기술은 문화 유산 보존 및 로봇 공학을 위한 장면 기하학 추출도 지원한다. 특정 시점 밀도에 대한 내재적 요구 사항은 실시간 응용 프로그램을 계속 제한하지만, 지속적인 연구는 이를 해결하려고 한다.
딥러닝과의 상호 작용은 NeRF를 장면 렌더링 및 3D 장면 이해를 위한 핵심 기술로 자리매김했으며, 종종 컴퓨터 비전 및 컴퓨터 그래픽스 커뮤니티에서 탐구된다. Google DeepMind와 같은 기업 및 학술 연구소는 상당한 후속 작업에 기여했다.
같이 보기
- 기계 학습
- 볼륨 렌더링
- 새로운 시점 합성
- 구조-모션