方向変位ヒストグラム（HOD）は、コンピュータビジョンにおける特徴記述子であり、連続する2つの画像フレーム間のピクセルの動きを要約するものである。これは、変位ベクトルの方向と大きさをヒストグラムにビン化することでその分布を捉え、シーン動態のコンパクトな表現を提供する。HODは、行動認識、歩行者検出、映像監視などのタスクで一般的に適用され、方向勾配ヒストグラム（HOG）やオプティカルフローヒストグラム（HOF）などのオプティカルフローに基づく手法の代替として機能する。
この記述子は、まずフレーム間の各ピクセルまたはキーポイントの変位を推定することから始まり、通常はブロックマッチングやスパースオプティカルフロー技術を使用する。これらの変位は、方向ビン（例えば、360度をカバーする8または16ビン）に量子化され、必要に応じて大きさで重み付けされる。結果として得られるヒストグラムは、グローバルなスケール変化に対する不変性を達成するために正規化され、物体サイズやカメラズームの変動に対してロバストになる。密なオプティカルフローとは異なり、HODはスパースな特徴点で効率的に計算でき、計算コストを削減しながら識別力を維持する。
歴史的発展
ヒストグラムベースの記述子の概念は、2000年代初頭にHOGが物体検出で成功を収めたことで注目を集めた。HODは動きに特化した拡張として登場し、2008年から2010年頃に学術文献で初めて登場した。Carnegie Mellon UniversityやMIT CSAILなどの機関の研究者は、人間の行動認識におけるその使用を探求し、制御された実験で生のオプティカルフローヒストグラムを上回る性能を示した。2012年までに、HODはより大規模な映像解析パイプラインに統合され、静的および動的特徴の両方を捉えるためにHOGなどの外観記述子と組み合わせられることが多かった。
計算アプローチ
HODの計算は、変位推定、ヒストグラム構築、正規化の3つの主要な段階を含む。変位推定は、通常、Lucas-Kanade法または位相相関を使用してピクセルごとの動きベクトルを見つける。各ベクトルについて、その角度はN個の方向ビンの1つに量子化され、その大きさはバイナリ投票または大きさによる重み付けのいずれかでそのビンのカウントに寄与する。スケール変動を処理するために、ヒストグラムはL1またはL2正規化される。実際には、空間ピラミッドが適用され、画像をセルに分割し、セルごとのヒストグラムを連結することがあり、これはHOGのブロック構造に類似している。
機械学習への応用
Machine learningやArtificial intelligenceにおいて、HOD特徴はサポートベクターマシンやランダムフォレストなどの分類器に供給されることが多い。これらは、歩行や手を振るなどの周期的な動きパターンを記述子が捉える監視システムにおける人間の活動認識に使用されてきた。HODはまた、自動運転研究にも登場し、道路シーン全体の変位ヒストグラムを比較することで移動障害物の検出を支援する。Deep learningの台頭により、HODは畳み込みニューラルネットワークからの学習特徴に大部分が取って代わられたが、特にリソース制約のある環境での映像理解タスクにおいて、有用な手作りベースラインとして残っている。
関連記述子との比較
HODは、オプティカルフローベクトルを直接ビン化するHOFと密接に関連している。主な違いは、HODがフレーム間の変位に基づいて動作し、密なフロー推定なしで計算できるため、より高速であることである。しかし、HODはカメラの動きに敏感であり、グローバルなシフトがヒストグラムを支配する。これを軽減するために、一部の実装では変位を計算する前にグローバルな動きモデル（例えば、アフィン変換）を差し引く。モーション履歴画像などの時間的テンプレートと比較して、HODはよりコンパクトで回転不変な表現を提供するが、空間プーリングと組み合わせない限り空間レイアウト情報を失う。
制限と拡張
HODの主な制限は、ブロックマッチングが失敗する低テクスチャ領域や高速移動領域での正確な変位推定への依存である。拡張は、マルチスケールアプローチを使用したり、色や深度の手がかりを組み込んだりすることでこれに対処してきた。別の拡張である大きさ重み付け付き方向変位ヒストグラムは、ノイズに対するロバスト性を向上させる。近年、HODはData Augmentationパイプラインでの使用に適応されており、合成変位を生成してロバストなモデルを訓練する。深層学習の優位性にもかかわらず、HODの単純さと解釈可能性は、エッジコンピューティングやリアルタイムシステムでの関連性を維持している。
関連項目
- histogram-of-oriented-gradients (利用可能な場合)
- optical-flow (利用可能な場合)
- Computer vision (利用可能な場合)
- action-recognition (利用可能な場合)
参考文献
- Dalal, N., & Triggs, B. (2005). Histograms of oriented gradients for human detection.
- Laptev, I., et al. (2008). Learning realistic human actions from movies.
- Wang, H., et al. (2011). Action recognition by dense trajectories.