色正規化は、コンピュータビジョンにおける、人工色覚と物体認識に関わるトピックである。一般的に、画像内の色値の分布は照明に依存し、その照明は光環境、カメラ、その他の要因によって変化する可能性がある。色正規化により、色に基づく物体認識技術がこれらの変動を補正できるようになる。その目標は、照明の変化に対して不変な画像表現を生成し、アルゴリズムが画像が撮影された条件ではなく、物体本来の色特性に基づいて物体を識別できるようにすることである。
この分野は、異なる照明下で人間が色を一貫して知覚する能力、すなわち色恒常性と呼ばれる現象に基づいている。この能力を計算機的に模倣することで、色正規化は、信頼性の高い色ベースの分類が重要となるロボット工学から医療画像処理まで、幅広い応用を支えている。しかし、正規化アルゴリズムの選択は特定のタスクに依存し、各手法には長所と短所がある。
色恒常性
色恒常性は人間の知覚における内部モデルの特徴であり、異なる照明条件でも物体に比較的一定した色を割り当てる能力を提供する。これは物体認識および環境内の光源の識別に有用である。例えば、太陽が明るい時も暗い時も、人間は物体をほぼ同じ色として見る。この知覚的安定性は、照明を推定し知覚される色を調整する複雑な神経処理から生じる。コンピュータビジョンでは、色正規化アルゴリズムが、照明の影響を除去するためにピクセル値を変換することでこの行動を再現しようとする。これは、物体認識や画像分割などのタスクで特に重要であり、色は区別的な特徴となる。正規化を行わないと、同じ物体を異なる照明で撮影した場合、大きな異なる色分布が生じたり、認識システムに混乱をもたらす可能性がある。
応用
色正規化は、ロボット工学、バイオインフォマティクス、一般的なArtificial intelligenceの分野で、画像からすべての輝度値を除去しながら色値を保持することが重要な色画像の物体認識に用いられている。一例としては、監視カメラが1日を通して撮影したシーンがあり、同じ色のピクセル上で影や照明変化を除去し、通過した人を認識することが重要となる。別の例では、糖尿病性陽網膜症の検出やがん病態の分子学的診断に用いられる自動振り分けツールがあり、分類中に色情報を組み込むことが重要である。ロボット工学では、色正規化はMachine learningモデルが、日差しが変化する屋外シーンや人工照明の屋内シーンなど、変化する環境で物体を識別するのに役立つ。バイオインフォーマティクスでは、染色強度の変動が誤分類につながる可能性がある組織標本の一致した分析が可能になる。この技術は、Deep learningモデルのData Augmentationパイプラインにも使用され、照明変化にロバストな訓練データの生成を支援する。
既知の問題
色正規化の特定の応用における主な問題は、結果が不自然に見えたり、元の色から遠すぎることである。重要な側面間に微妙な差がある場合は、これが問題となる可能性がある。より具体的には、ピクセルが余程ばらつき、画像の実際の色値を反映しない副作用がある。例えば、正規化アルゴリズムが過剰に補正し、過度に飽和節に、変化した色を生成する可能性があり、類似物体間の微妙な差が隠れてしまう可能性がある。これは医療画像では特に問題で、微妙な色の差が異なる組織型や病態を意味することがある。この問題への対策としては、色正規化としきい値処理を組み合わせて、色画像を正確かつ一貫して分割する方法がある。しきい値処理は、関連する色領域をバックグラウンドノイズから分離し、不自然な色シフトの影響を軽減するのに役立つ。加えて、一部の手法では、アプリケーションの要件に応じて、正規化と自然な外観のバランスを調整できるパラメータをユーザーに提供する。
変換とアルゴリズム
色正規化を達成するための変換とアルゴリズムは数多くあり、その中にはここに限定されたリストを示す。アルゴリズムのパフォーマンスはタスクに依存し、あるタスクで他のアルゴリズムより優れている一方、別のタスクでは劣る可能性がある（フリーランチ定理なし）。また、アルゴリズムの選択は、エンドユーザーが結果に対して好むもの、例えば、より自然な色画像を得たいなどに依存する。一般的な手法をには、グレイワールド、ヒストグラム均等化、ヒストグラム指定が含まれ、それぞれが異なる仮定とトレードオフを持つ。スピードと簡素性が設計の目的であるアルゴリズムもあれば、計算複雑性を犠牲にして高い精度を目指すもある。実際の実践では、実践者は複数の手法を試し、特定のデータセットと目標に最適なものを見つけることが多い。
グレイワールド
グレイワールド正規化は、照明スペクトルの変化が、赤、緑、青の色チャンネルに適用される3つの定数でモデル化できると仮定する。より具体的には、照明色の変化は、R、G、Bの色のチャンネルでα、β、γのスケーリングとしてモデル化でき、そのためグレイワールドアルゴリズムは照明色の変化に不変である。従って、各色チャンネルを平均値で割ることで不変解を達成できる。この手法は、シーンの平均色が灰色であることを効果的に仮定しており、これは多くの自然な画像に当てはまるが、単一色が支配するシーンでは失敗する可能性がある。前述のように、グレイワールド色正規化は照明色の変動α、β、γに不変であるが、重要な問題がある：それは照明強度のすべての変動を考慮しておらず、動的ではなく、シーンに新しい物体が現れると失敗する。この問題を解決するために、重み付き平均や局所的に適用するなどの、グレイワールドアルゴリズムのいくつかの変版がある。さらに、グレイワールド正規化の反復版あるが、これ接続有意に良いパフォマンスを示すことはわからなかった。
ヒストグラム均等化
ヒストグラム均等化は、ピクセルランクを維持し、任意の単調増加する色変換関数に対して正規化できる非線形変換であり、グレイワールド法よりも強力な正規化変換であると考えられている。この手法は、出力画像のヒストグラムがおよそ均一になるようにピクセル強度を再配置し、コントラストを高め、詳細を明るみにする働き。しかし、ヒストグラム均等化の結果は、ほとんどの画像でピクセル値の分布が均一分布ではなくガウス分布に近いため、青チャンネルが過度に見え、不自然に見える傾向がある。これにより視覚的に照人らしくない色ずれが発生する可能性があるが、その簡易さと特定の符号環境での有効性から、この手法は使用されている。Computer visionパイプラインでは、特徴抽出や分類の前前処理のステップとしてしばしばヒストグラム均等化が適用される。
ヒストグラム指定
ヒストグラム指定は、単に等化するのではなく、赤、緑、青のヒストグラムを3つの特定地図のヒストグラムの形に合わせて変換する。これは、ヒストグラムが望ましい形を持つを作ることを目指す画像変換クラスを指す。これにより、ターゲットとなるヒストグラムをアプリケーションのニーズに基づいて選択できるため、出力に対する制御が向上する。例えば、参照画像の色分布に合わせることである。この処理には、まず入力画像を等化し、次に目的のヒストグラムの風ぐ積分布関数の逆関数を適用する。この手法は、医療画像やリモートセンシングなど、一連の画像間で一貫した色の外観が必要な場合に特に有用である。しかし、適切なターゲットヒストグラムの選択が必要になり