カラーヒストグラム

カラーヒストグラムは、画像内の色の分布を表すもので、各色または色範囲の頻度を示します。これは、画像処理、コンピュータビジョン、およびコンテンツベース画像検索で広く使用されています。

カラーヒストグラムは、デジタル画像における色分布の統計的な表現である。定義された一連の色ビンのそれぞれに該当するピクセル数を数え、通常はRGB、HSV、Labなどの色空間で行われる。結果として得られるヒストグラムは、空間的な配置とは無関係に、画像の色内容の簡潔な要約を提供する。これにより、コンピュータビジョン、画像処理、コンテンツベース画像検索などの分野で基本的なツールとなり、画像マッチング、セグメンテーション、解析などのタスクに使用される。

この概念は、20世紀後半のデジタルイメージングとコンピュータグラフィックスの発展とともに登場した。Xerox PARCやMIT CSAILなどの機関での初期の画像処理研究は、画像解析のための統計的手法を探求した。カラーヒストグラムは、1990年代のマルチメディアデータベースの台頭とともに重要性を増し、画像のインデックス化と検索のための主要な特徴量となった。Michael I. Jordanなどの機械学習コミュニティの研究者は、その理論的基盤に貢献し、確率分布や類似度尺度と関連付けた。

構築と色空間

カラーヒストグラムを構築するには、まず画像を選択した色空間に変換する。RGB空間は一般的であるが、照明の変化に敏感な場合がある。HSV（色相、彩度、明度）空間は、色度情報を強度から分離するため、照明変動に対してより堅牢なヒストグラムを提供し、しばしば好まれる。人間の知覚を近似するように設計されたLab空間も使用される。各ピクセルの色はビンにマッピングされ、ビン数が累積される。ビンの数はヒストグラムの粒度に影響し、ビンが少ないと粗い要約が得られ、ビンが多いとより詳細な情報が得られるが、次元が増加する。

コンピュータビジョンにおける応用

カラーヒストグラムは、画像検索システムで使用され、クエリ画像のヒストグラムを、ヒストグラム交差やカイ二乗距離などの指標を用いてデータベース内のものと比較する。このアプローチは効率的でスケール不変であるが、空間情報を無視する。物体検出と追跡では、ヒストグラムが対象領域の色分布をモデル化し、アルゴリズムが後続フレームでそれを特定できるようにする。例えば、平均シフト追跡アルゴリズムは、カラーヒストグラムに依存してビデオシーケンス全体で物体を追跡する。画像セグメンテーションでは、ヒストグラムが支配的な色クラスタを特定するのに役立ち、画像を領域に分割するために使用できる。

限界と拡張

標準的なカラーヒストグラムの主な限界は、空間的文脈の欠如である。同一の色分布を持つが異なるレイアウトの2つの画像は、同じヒストグラムを生成する。これに対処するため、カラーコレログラムや空間ヒストグラムなどの拡張が位置情報を組み込む。カラーコレログラムは、ある色のピクセルが別の色のピクセルから特定の距離にある確率を記録する。もう一つの問題は、ノイズと量子化への感度であり、平滑化技術や適応ビニングがこれらの影響を軽減できる。Machine learningやDeep learningでは、カラーヒストグラムは古典的なモデルの入力特徴としてしばしば使用されるが、色と空間パターンの両方を捉えることができるNeural networkからの学習表現によって大部分が取って代わられている。

機械学習とAIにおける役割

Artificial intelligenceの文脈では、カラーヒストグラムは、特にラベル付きデータが乏しい場合に、画像分類やシーン認識などのタスクのための単純かつ効果的な特徴として機能する。また、データ拡張パイプラインでも使用され、色ジッタリングなどの変換がヒストグラムを変更してモデルの堅牢性を向上させる。Generative AIでは、ヒストグラムが出力分布をターゲットに一致させることで、色付けやスタイル転送を導くことができる。しかし、Convolutional neural network（Neural networkの一種）を使用する現代のアプローチは、通常、色表現を暗黙的に学習するため、明示的なヒストグラムは中心的な役割を果たさない。それでも、解釈可能性や、QualcommやArm Holdingsによって開発されたような組み込みデバイス上の軽量アプリケーションにとっては、依然として価値がある。

計算上の考慮事項

カラーヒストグラムの計算は計算コストが低く、画像ピクセルを1回走査するだけで済む。高解像度画像の場合、NVIDIA（リストにはないが、概念は適用される）のフレームワークやAmazon Web ServicesやGoogle CloudなどのクラウドサービスでサポートされるGPU上の並列処理を使用して最適化できる。ヒストグラムのサイズはビンの数によって決まり、例えば、チャネルあたり256ビンのRGBヒストグラムは1670万次元のベクトルを生成し、これはチャネルあたり8または16ビンへの量子化によってしばしば削減される。このコンパクトさにより、ヒストグラムはWaymoの自動運転車両などのリアルタイムシステムに適しており、シーン理解を支援する。