인스턴트 NGP

Instant NGP(Instant Neural Graphics Primitives)는 NVIDIA가 신경 방사 필드(NeRF) 및 기타 신경 그래픽 프리미티브의 훈련과 렌더링을 가속화하기 위해 개발한 기술이다. 2022년에 소개된 이 방법은 다중 해상도 해시 인코딩과 컴팩트한 신경망을 결합하여 기존 NeRF 구현보다 수 배에서 수십 배의 속도 향상을 달성한다. 이 방법은 단일 GPU에서 고품질 장면 재구성과 실시간 렌더링을 가능하게 하여 컴퓨터 그래픽스, 로봇 공학, 가상 현실 응용 분야에서 널리 채택되었다.

Instant NGP의 핵심 혁신은 다중 해상도 해시 인코딩으로, 초기 NeRF 모델에서 사용된 고차원 위치 인코딩을 대체한다. 이 인코딩은 입력 좌표를 다중 레벨 해시 테이블에 저장된 학습 가능한 특징 벡터 집합으로 매핑한다. 각 레벨은 서로 다른 공간 해상도에서 특징을 포착하여 네트워크가 미세한 세부 사항을 효율적으로 표현할 수 있게 한다. 해시 테이블은 훈련 중에 최적화되며, 해시 충돌은 네트워크가 이를 구별하는 방법을 학습하는 능력으로 완화된다. 이 접근 방식은 특징 벡터가 큰 완전 연결 레이어를 통해 계산되는 대신 직접 인덱싱되므로 신경망 쿼리의 계산 비용을 크게 줄인다.

훈련 및 성능

Instant NGP는 일반적인 장면에 대해 수 초에서 수 분의 훈련 시간을 달성하며, 이는 초기 NeRF 방법의 수 시간 또는 수 일과 비교된다. 예를 들어, 수백 장의 이미지로 캡처된 360도 장면은 NVIDIA RTX 3090 GPU에서 30초 미만으로 훈련할 수 있다. 이 방법은 또한 대화형 프레임 속도에서 실시간 렌더링을 지원하여 가상 객체 검사 및 원격 현장감과 같은 응용을 가능하게 한다. 구현은 오픈 소스 프로젝트로 제공되며, PyTorch 및 TensorFlow와 같은 인기 있는 딥 러닝 프레임워크와 통합되는 CUDA 기반 라이브러리를 포함한다.

응용 분야

Instant NGP는 새로운 시점 합성 외에도 다양한 작업에 적용되었다. 표면 재구성을 위한 부호 거리 함수(SDF), 실시간 전역 조명을 위한 신경 방사 캐싱, 의료 영상을 위한 체적 렌더링을 지원한다. 로봇 공학에서는 내비게이션 및 조작을 위한 빠른 장면 매핑을 가능하게 한다. 이 기술은 또한 콘텐츠 제작 도구에 사용되어 아티스트가 사진이나 비디오에서 3D 장면을 캡처하고 편집할 수 있게 한다. 그 속도와 유연성 덕분에 많은 연구 프로젝트와 상용 제품에서 표준 기준으로 자리 잡았다.

기술적 세부 사항

Instant NGP의 아키텍처는 일반적으로 2~4개의 숨겨진 레이어와 64~128개의 유닛을 가진 작은 다층 퍼셉트론(MLP)으로 구성된다. MLP의 입력은 인코딩된 좌표와 선택적 시점 방향의 연결이다. 해시 인코딩은 각각 고정된 수의 특징 차원(예: 2~4)을 가진 해상도 그리드를 사용한다. 해시 함수는 단순한 공간 해시이며, 특징 벡터는 무작위로 초기화된다. 훈련 중에는 네트워크와 해시 테이블이 Adam과 같은 확률적 경사 하강법 변형을 사용하여 공동으로 최적화된다. 손실 함수는 일반적으로 렌더링된 이미지와 실제 이미지 사이의 광도 손실이며, 종종 평활성을 위한 정규화 항과 결합된다.

영향 및 유산

Instant NGP는 신경 렌더링 분야에 큰 영향을 미쳐 NeRF 기반 방법을 실제 사용에 실용적으로 만들었다. 이는 다중 해상도 해시 그리드를 다른 신경 필드에 적용하는 후속 연구에 영감을 주었다. 이 기술은 NVIDIA의 Generative AI 및 Machine learning에 대한 광범위한 노력의 일부이며, NVIDIA Omniverse와 같은 도구에 통합되었다. 오픈 소스 릴리스는 학계와 산업계에서 광범위한 채택을 촉진하여 컴퓨터 그래픽스 및 Computer vision의 발전에 기여했다.

관련 개념

Instant NGP는 Deep learning에서 사용되는 Neural network 아키텍처, 특히 3D 장면 표현을 위한 것과 밀접하게 관련된다. 이는 Positional Encoding을 새로운 방식으로 활용하며, 훈련은 Adam (Optimizer) 및 Loss Functions에 의존한다. 이 방법은 이미지 합성을 위한 Residual Network (ResNet) 기반 접근 방식과 종종 비교되지만, 이산 그리드가 아닌 연속 좌표에서 작동한다. 그 효율성은 또한 합성 훈련 데이터 생성을 위한 Data Augmentation 응용을 가능하게 했다.