객체 추적은 비디오 추적이라고도 하며, 카메라를 사용하여 시간에 따라 움직이는 객체(또는 여러 객체)의 위치를 찾는 과정이다. 인간-컴퓨터 상호작용, 보안 및 감시, 비디오 통신 및 압축, 증강 현실, 교통 통제, 의료 영상, 비디오 편집 등 다양한 용도로 사용된다. 이 작업은 비디오에 포함된 대량의 데이터 때문에 시간이 많이 소요될 수 있으며, 종종 그 자체로도 어려운 객체 인식 기술을 요구한다.
비디오 추적의 목표는 연속적인 비디오 프레임에서 대상 객체를 연관시키는 것이다. 이러한 연관성은 객체가 프레임 속도에 비해 빠르게 움직이거나 추적 대상 객체의 방향이 시간에 따라 변할 때 어려워진다. 이러한 상황을 처리하기 위해 추적 시스템은 일반적으로 가능한 여러 움직임에 따라 대상 이미지가 어떻게 변할 수 있는지를 설명하는 운동 모델을 사용한다. 단순한 운동 모델에는 평면 객체를 위한 2D 변환(아핀 또는 호모그래피), 강체 객체를 위한 3D 위치 및 방향, 비디오 압축을 위한 매크로블록 이동, 변형 가능한 객체를 위한 메시 변형이 포함된다.
알고리즘
추적을 수행하기 위해 알고리즘은 순차적인 비디오 프레임을 분석하고 프레임 간 대상의 움직임을 출력한다. 여기에는 두 가지 주요 구성 요소가 있다: 대상 표현 및 위치 파악, 필터링 및 데이터 연관이다. 대상 표현 및 위치 파악은 움직이는 객체를 식별하는 상향식 과정으로, 커널 기반 추적(평균 이동) 및 윤곽선 추적과 같은 방법이 포함된다. 이러한 방법은 계산 효율적이지만 복잡한 상호작용에는 어려움을 겪을 수 있다. 필터링 및 데이터 연관은 사전 정보를 통합하고 객체 역학을 처리하여 장애물 뒤에서도 추적을 가능하게 하는 하향식 과정이다. 일반적인 필터링 알고리즘에는 선형 가우시안 시스템에 최적인 칼만 필터와 비선형 및 비가우시안 과정을 처리하는 입자 필터가 있다. 필터링 방법의 계산 복잡성은 일반적으로 더 높다.
응용 분야
객체 추적은 수많은 실용적인 응용 분야를 가진다. 보안 및 감시에서는 사람과 차량의 자동 모니터링을 가능하게 한다. 인간-컴퓨터 상호작용에서는 제스처 인식과 동작 기반 제어를 허용한다. 증강 현실에서는 가상 객체를 실제 세계 위치에 고정시킨다. 교통 통제에서는 차량 흐름을 모니터링하고 사고를 감지한다. 의료 영상에서는 해부학적 구조나 조영제를 시간에 따라 추적한다. 비디오 압축에서는 움직임 추정이 프레임 간 차이만을 인코딩하여 데이터를 줄인다.
과제
객체가 프레임 속도에 비해 빠르게 움직여 프레임 간 큰 변위가 발생하면 추적이 어려워진다. 객체가 부분적으로 또는 완전히 가려지는 폐색은 연관성을 복잡하게 만든다. 방향, 크기, 조명의 변화도 성능에 영향을 미친다. 해상 또는 이동 플랫폼의 경우, 카메라를 사전에 안정화하여 역학을 줄이기 위해 관성 측정 시스템이 자주 사용된다. 알고리즘의 선택은 정확성, 견고성, 계산 비용의 균형을 맞추면서 의도된 용도에 따라 달라진다.
역사 및 발전
객체 추적의 초기 연구는 1980년대까지 거슬러 올라가며, 미로를 통과하는 공을 추적하는 데 사용된 Cromemco Cyclops Camera와 같은 사례가 있다. 그 이후로 이 분야는 컴퓨터 비전과 머신 러닝의 발전과 함께 진화해 왔다. 현대적인 접근 방식은 종종 특징 추출과 객체 감지를 위해 딥 러닝과 신경망을 통합하여 복잡한 장면에서 견고성을 향상시킨다. 연구는 MIT CSAIL과 Stanford AI Lab과 같은 기관에서 계속되고 있으며, Waymo와 Tesla과 같은 기업은 자율 주행 차량에 추적을 적용한다.
같이 보기
- motion-estimation
- optical-flow
- 컴퓨터 비전
- augmented-reality