역 깊이 매개변수화는 컴퓨터 비전과 동시적 위치 추정 및 지도 작성(SLAM)에서 카메라 뷰의 3D 점 위치를 표현하는 데 사용되는 방법이다. 점의 유클리드 좌표(x, y, z)를 직접 저장하는 대신, 점의 방향(방위각과 고도각)과 깊이의 역수(1/z)를 저장한다. 이 표현은 깊이를 직접 관측할 수 없고 시간에 따른 움직임에서 추정해야 하는 단안 SLAM 시스템에서 특히 유용하다.
역 깊이 매개변수화의 핵심 장점은 불확실성 처리 방식에 있다. 먼 거리의 점의 경우, 깊이의 작은 오차는 유클리드 z-좌표의 큰 오차에 해당하므로, 표준 데카르트 좌표계의 가우시안 잡음 모델은 적합하지 않다. 역 깊이에서는 불확실성 분포가 더 대칭적이고 가우시안에 가까워지며, 이는 SLAM에서 흔히 사용되는 칼만 필터 및 기타 추정 프레임워크와 잘 맞는다. 이는 특히 특징의 깊이가 매우 불확실한 초기 프레임 동안 더 안정적이고 정확한 상태 추정을 이끈다.
역사적 배경
이 기법은 2000년대 중반 Javier Civera, Andrew Davison, José María Martínez Montiel의 연구를 통해 주목받게 되었으며, 이들은 역 깊이 매개변수화를 사용한 단안 SLAM에 관한 영향력 있는 논문을 발표했다. 그들의 2008년 논문 "단안 SLAM을 위한 역 깊이 매개변수화"(IEEE Transactions on Robotics에 게재)는 이 접근법을 공식화하고 실시간 추적에서의 효과를 입증했다. 이 연구는 3D 재구성을 위한 대체 매개변수화를 탐구한 Computer vision 및 Machine learning의 초기 연구를 기반으로 했지만, 역 깊이는 단안 시스템에서 사용되는 지연 및 비지연 초기화 전략에 특히 적합한 것으로 입증되었다.
이전에는 단안 SLAM 시스템이 카메라에서 멀리 떨어진 특징이나 깊이 불확실성이 큰 특징을 처리하는 데 어려움을 겪는 경우가 많았다. 역 깊이 공식은 이러한 시스템이 매우 큰 깊이 분산(사실상 무한 깊이를 모델링)으로 특징을 초기화한 다음, 카메라가 움직이고 시차를 제공함에 따라 추정치를 정제할 수 있게 했다. 이는 고정된 깊이로 특징을 초기화해야 하거나 높은 불확실성을 가진 특징을 폐기했던 초기 방법보다 크게 개선된 것이다.
수학적 공식화
역 깊이 매개변수화에서 3D 점은 6차원 상태 벡터로 표현된다:
- 첫 관측 시 카메라 위치 (x0, y0, z0)
- 해당 위치에서 광선 방향을 정의하는 방위각(θ)과 고도각(φ)
- 역 깊이 (ρ = 1/d)
이 표현은 점 위치의 최소 매개변수화로, 중복 정보가 있는 전체 3D 좌표의 필요성을 피한다. 실제 3D 좌표는 초기 카메라 위치에서 광선 방향을 따라 1/ρ 거리만큼 이동하여 복구할 수 있다.
깊이 자체보다 역 깊이를 선택한 이유는 일정한 속도로 움직이는 카메라의 경우 정적 점의 역 깊이가 잡음이 없을 때 선형적으로 진화한다는 관찰에서 비롯된다. 이 선형성은 필터링 알고리즘의 예측 단계를 단순화하고 수치적 조건을 개선한다. 또한 역 깊이는 특이점을 유발하지 않고 0(무한대의 점을 나타냄)으로 초기화할 수 있는데, 이는 표준 깊이 매개변수화에서는 불가능하다.
SLAM 및 시각적 주행 거리 측정에서의 응용
역 깊이 매개변수화는 많은 단안 SLAM 시스템에서 표준 구성 요소가 되었다. 이는 옥스포드 대학에서 개발된 원래 MonoSLAM 시스템과 같은 필터링 기반 접근법과 키프레임 기반 최적화 방법 모두에서 사용된다. 예를 들어, Georg Klein과 David Murray가 개발한 PTAM(병렬 추적 및 매핑) 시스템은 매핑 스레드에 역 깊이를 채택했으며, 이후 LSD-SLAM 및 ORB-SLAM과 같은 시스템도 초기화 및 매핑 단계에서 유사한 아이디어를 통합했다.
이 기법은 카메라가 상당한 병진 운동을 겪어 깊이 불확실성을 줄이는 데 필요한 시차를 제공하는 시나리오에서 특히 유용하다. Waymo 또는 Tesla에서 개발된 것과 같은 자율 주행 차량의 시각적 주행 거리 측정에서 역 깊이는 특징이 다양한 거리에 있을 때에도 단안 카메라 스트림에서 일관된 3D 지도를 유지하는 데 도움이 된다. 또한 단일 이동 카메라에서 정확한 깊이 추정이 필수적인 증강 현실 및 구조-모션 파이프라인에서도 역할을 한다.
장점과 한계
역 깊이 매개변수화의 주요 장점은 사실상 무한대에 있는 점을 포함하여 매우 먼 거리의 특징을 처리할 수 있다는 점이다. 표준 유클리드 매개변수화에서 이러한 점은 공분산 행렬이 불량 조건이 되어 수치적 불안정성을 초래한다. 역 깊이는 매개변수를 유계로 유지하고 불확실성을 잘 모델링하여 이를 피한다.
또 다른 이점은 초기화의 용이성이다. 새 특징은 거리에 대한 완전한 무지를 나타내는 큰 역 깊이 분산으로 초기화할 수 있으며, 더 많은 관측이 이루어짐에 따라 업데이트된다. 이는 초기 깊이 추정치를 요구하거나 충분한 시차를 먼저 모으기 위해 지연 초기화를 사용하는 방법과 대조된다.
그러나 이 매개변수화는 단점이 없는 것은 아니다. 이 표현은 각 특징에 대해 초기 카메라 위치를 저장해야 하므로 메모리 사용량이 증가한다. 또한 카메라 포즈와 특징 매개변수 사이의 결합을 도입하여 최적화 과정을 복잡하게 만들 수 있다. 실제로 많은 시스템은 특징의 깊이 불확실성이 충분히 줄어들면 상태 표현을 단순화하고 계산 비용을 줄이기 위해 유클리드 매개변수화로 전환한다.
다른 기법과의 관계
역 깊이 매개변수화는 확률적 로봇 공학 및 컴퓨터 비전의 다른 기법과 밀접한 관련이 있다. 이는 스테레오 비전에서 시차 사용과 개념적 유사성을 공유하며, 여기서 깊이의 역수는 좌우 카메라 이미지 사이의 시차에 직접 비례한다. Neural network 아키텍처를 사용하는 것과 같은 Deep learning 기반 단안 깊이 추정 접근법에서 출력은 종종 훈련 안정성과 정확성을 개선하기 위해 역 깊이 또는 로그 깊이로 표현되며, 이는 동일한 기본 통계적 추론을 반영한다.
이 기법은 또한 SLAM 및 추적에 사용되는 Kalman Filter 및 입자 필터와 같은 더 넓은 추정 프레임워크와 연결된다. 매개변수화 선택은 이러한 시스템에서 중요한 설계 결정이며, 역 깊이는 단안 비전에서 견고하고 실용적인 선택으로 입증되어 이후의 광범위한 연구와 상업적 구현에 영향을 미쳤다.