방향 변위 히스토그램(HOD)은 컴퓨터 비전에서 두 연속 이미지 프레임 사이의 픽셀 움직임을 요약하는 특징 기술자이다. 이는 변위 벡터의 방향과 크기를 히스토그램으로 구간화하여 그 분포를 포착하며, 장면 역학의 간결한 표현을 제공한다. HOD는 행동 인식, 보행자 감지, 비디오 감시와 같은 작업에서 흔히 적용되며, 방향 그래디언트 히스토그램(HOG)이나 광학 흐름 히스토그램(HOF)과 같은 광학 흐름 기반 방법의 대안으로 사용된다.
이 기술자는 먼저 프레임 간 각 픽셀 또는 키포인트의 변위를 추정하여 작동하며, 일반적으로 블록 매칭이나 희소 광학 흐름 기법을 사용한다. 이러한 변위는 방향 구간(예: 360도를 덮는 8개 또는 16개 구간)으로 양자화되고, 선택적으로 크기 가중치가 적용된다. 결과 히스토그램은 전역 규모 변화에 대한 불변성을 얻기 위해 정규화되어, 객체 크기와 카메라 줌의 변동에 강건하게 만든다. 조밀한 광학 흐름과 달리, HOD는 희소 특징점에서 효율적으로 계산될 수 있어 계산 비용을 줄이면서도 판별력을 유지한다.
역사적 발전
히스토그램 기반 기술자의 개념은 2000년대 초 HOG가 객체 감지에서 성공을 거두면서 두각을 나타냈다. HOD는 움직임 특화 확장으로 등장했으며, 2008-2010년경 학술 문헌에 처음 등장했다. Carnegie Mellon University와 MIT CSAIL과 같은 기관의 연구자들은 인간 행동 인식에서 그 사용을 탐구했으며, 통제된 실험에서 원시 광학 흐름 히스토그램보다 우수한 성능을 보였다. 2012년까지 HOD는 더 큰 비디오 분석 파이프라인에 통합되었으며, 종종 HOG와 같은 외관 기술자와 결합하여 정적 및 동적 특징을 모두 포착했다.
계산 접근법
HOD 계산은 변위 추정, 히스토그램 구성, 정규화의 세 가지 주요 단계를 포함한다. 변위 추정은 일반적으로 Lucas-Kanade 방법이나 위상 상관을 사용하여 픽셀별 움직임 벡터를 찾는다. 각 벡터에 대해 그 각도는 N개의 방향 구간 중 하나로 양자화되고, 그 크기는 이진 투표 또는 크기 가중치로 해당 구간의 개수에 기여한다. 규모 변동을 처리하기 위해 히스토그램은 L1 또는 L2 정규화된다. 실제로는 공간 피라미드가 적용될 수 있으며, 이미지를 셀로 나누고 셀별 히스토그램을 연결하여 HOG의 블록 구조와 유사하게 만든다.
기계 학습에서의 응용
Machine learning과 Artificial intelligence에서 HOD 특징은 종종 서포트 벡터 머신이나 랜덤 포레스트와 같은 분류기에 입력된다. 이들은 감시 시스템의 인간 활동 인식에 사용되었으며, 기술자는 걷기나 손 흔들기와 같은 주기적 움직임 패턴을 포착한다. HOD는 또한 자율 주행 연구에 등장하여 도로 장면 간 변위 히스토그램을 비교함으로써 움직이는 장애물 감지를 돕는다. Deep learning의 부상과 함께 HOD는 합성곱 신경망의 학습된 특징에 의해 크게 대체되었지만, 특히 자원 제약 환경에서 비디오 이해 작업을 위한 유용한 수작업 기준선으로 남아 있다.
관련 기술자와의 비교
HOD는 광학 흐름 벡터를 직접 구간화하는 HOF와 밀접하게 관련된다. 주요 차이점은 HOD가 조밀한 흐름 추정 없이 계산될 수 있는 프레임 간 변위에 작동하여 더 빠르다는 점이다. 그러나 HOD는 카메라 움직임에 민감하며, 전역 이동이 히스토그램을 지배한다. 이를 완화하기 위해 일부 구현은 변위를 계산하기 전에 전역 움직임 모델(예: 아핀 변환)을 차감한다. 모션 히스토리 이미지와 같은 시간적 템플릿과 비교할 때, HOD는 더 간결하고 회전 불변적인 표현을 제공하지만, 공간 풀링과 결합하지 않으면 공간 레이아웃 정보를 잃는다.
한계 및 확장
HOD의 주요 한계는 저질감 또는 빠르게 움직이는 영역에서 정확한 변위 추정에 의존한다는 점이며, 여기서 블록 매칭이 실패할 수 있다. 확장은 다중 스케일 접근법을 사용하거나 색상 및 깊이 단서를 통합하여 이를 해결했다. 또 다른 확장인 크기 가중치가 적용된 방향 변위 히스토그램은 잡음에 대한 강건성을 개선한다. 최근 몇 년 동안 HOD는 Data Augmentation 파이프라인에 적응되었으며, 합성 변위를 생성하여 강건한 모델을 훈련한다. 딥러닝의 지배에도 불구하고, HOD의 단순성과 해석 가능성은 엣지 컴퓨팅과 실시간 시스템에서 관련성을 유지하게 한다.
관련 기술자와의 비교
HOD는 광학 흐름 벡터를 직접 구간화하는 HOF와 밀접하게 관련된다. 주요 차이점은 HOD가 프레임 간 변위에 대해 작동하며, 이는 조밀한 흐름 추정 없이 계산될 수 있어 더 빠르다는 점이다. 그러나 HOD는 카메라 움직임에 민감하며, 전역 이동이 히스토그램을 지배한다. 이를 완화하기 위해 일부 구현은 변위를 계산하기 전에 전역 움직임 모델(예: 아핀 변환)을 차감한다. 모션 히스토리 이미지와 같은 시간적 템플릿과 비교할 때, HOD는 더 간결하고 회전 불변한 표현을 제공하지만, 공간 풀링과 결합하지 않으면 공간 레이아웃 정보를 잃는다.
한계 및 확장
HOD의 주요 한계는 저질감 또는 빠르게 움직이는 영역에서 정확한 변위 추정에 의존한다는 점이며, 여기서 블록 매칭이 실패할 수 있다. 확장은 다중 스케일 접근법을 사용하거나 색상 및 깊이 단서를 통합하여 이를 해결했다. 또 다른 확장인 크기 가중치가 적용된 방향 변위 히스토그램은 노이즈에 대한 강건성을 향상시킨다. 최근 몇 년간 HOD는 Data Augmentation 파이프라인에 적응되었으며, 여기서 합성 변위가 생성되어 강건한 모델을 훈련한다. 딥러닝의 지배에도 불구하고, HOD의 단순성과 해석 가능성은 엣지 컴퓨팅과 실시간 시스템에서 그 관련성을 유지한다.
관련 기술자와의 비교
HOD는 광학 흐름 벡터를 직접 구간화하는 HOF와 밀접하게 관련된다. 주요 차이점은 HOD가 조밀한 흐름 추정 없이 계산될 수 있는 프레임 간 변위에 작동하여 더 빠르다는 점이다. 그러나 HOD는 카메라 움직임에 민감하며, 전역 이동이 히스토그램을 지배한다. 이를 완화하기 위해 일부 구현은 변위를 계산하기 전에 전역 움직임 모델(예: 아핀 변환)을 차감한다. 모션 히스토리 이미지와 같은 시간적 템플릿과 비교할 때, HOD는 더 간결하고 회전 불변적인 표현을 제공하지만, 공간 풀링과 결합하지 않으면 공간 레이아웃 정보를 잃는다.
한계 및 확장
HOD의 주요 한계는 저질감 또는 빠른 움직임 영역에서 정확한 변위 추정에 의존한다는 점이며, 여기서 블록 매칭이 실패한다. 확장은 다중 스케일 접근법을 사용하거나 색상 및 깊이 단서를 통합하여 이를 해결했다. 또 다른 확장인 크기 가중치가 적용된 방향 변위 히스토그램은 잡음에 대한 강건성을 향상시킨다. 최근 몇 년 동안 HOD는 Data Augmentation 파이프라인에 적응되었으며, 합성 변위를 생성하여 강건한 모델을 훈련한다. 딥러닝의 지배에도 불구하고, HOD의 단순성과 해석 가능성은 엣지 컴퓨팅과 실시간 시스템에서 그 관련성을 유지한다.
같이 보기
- histogram-of-oriented-gradients (가능한 경우)
- optical-flow (가능한 경우)
- 컴퓨터 비전 (가능한 경우)
- action-recognition (가능한 경우)
참고 문헌
- Dalal, N., & Triggs, B. (2005). Histograms of oriented gradients for human detection.
- Laptev, I., et al. (2008). Learning realistic human actions from movies.
- Wang, H., et al. (2011). Action recognition by dense trajectories.