画像融合は、同一シーンの2つ以上のソース画像からの補完的な情報を単一の合成画像に統合する計算技術である。その目標は、個々の入力画像よりも情報量が多く、人間の視覚知覚やその後の自動解析により適した出力を生成することである。このプロセスは通常、ソース画像の位置合わせ（レジストレーション）と、ピクセル、特徴、または決定レベルでの融合規則の適用を含む。応用は、リモートセンシング、医療診断、監視、写真撮影に及び、マルチセンサーまたはマルチ露光データが一般的である。
この概念は信号処理とコンピュータビジョンに由来し、初期の研究は1980年代に遡る。現代のアプローチは深層学習、特に畳み込みニューラルネットワークとトランスフォーマーアーキテクチャを活用して、データから最適な融合戦略を学習する。画像融合は、画像ステッチング（より広い視野を作成する）や画像ブレンディング（遷移を滑らかにする）とは異なり、幾何学的な位置合わせだけでなく情報抽出を重視する。
ピクセルレベル融合法
ピクセルレベル融合は、位置合わせされた画像の強度値に直接作用する。最も単純な技術には、各出力ピクセルが対応する入力ピクセルの平均である平均化と、局所コントラストやシャープネスなどの指標に基づいて重みが選択される加重平均化が含まれる。より高度な方法は、ラプラシアンピラミッドや離散ウェーブレット変換などのマルチスケール変換を使用する。これらでは、画像が周波数帯域に分解され、融合規則が帯域ごとに最大活性（例えば、最大絶対値）を持つ係数を選択し、合成画像を再構成する。これらの方法は、単純な平均化よりもエッジや詳細を保持するが、分解と再構成が完全に一致しない場合、アーティファクトを導入する可能性がある。
明るさが異なる画像を扱うマルチ露光融合では、ピクセルレベル法はしばしば品質マップ（例えば、彩度、コントラスト、適正露光に基づく）を計算して重み選択を導く。これは、コンシューマー写真におけるハイダイナミックレンジ（HDR）イメージングで一般的である。
特徴レベルおよび決定レベル融合
特徴レベル融合は、各ソース画像からエッジ、コーナー、テクスチャ記述子などの顕著な特徴を抽出し、それらを結合特徴ベクトルに統合する。このベクトルはその後、分類やセグメンテーションタスクに使用される。例えば、リモートセンシングでは、パンシャープニングが高解像度のパンクロマティック画像と低解像度のマルチスペクトル画像を融合し、前者から後者に空間詳細を注入するが、これはしばしば特徴レベルで行われる。決定レベル融合は、セマンティック融合とも呼ばれ、異なるソースで動作する複数の分類器や検出器の出力を組み合わせる。方法には、多数決、ベイズ推論、またはデンプスター・シェーファー理論が含まれる。このレベルはセンサーノイズに頑健であるが、各ソースが意味のある決定を提供する必要がある。
深層学習アプローチ
2010年代半ば以降、深層学習が画像融合研究を支配している。畳み込みニューラルネットワーク（CNN）は、ペアのトレーニングデータから融合規則を直接学習するために使用される。典型的なアーキテクチャは、各入力から特徴を抽出するエンコーダ、これらの特徴を組み合わせる融合層（例えば、要素ごとの加算やアテンションメカニズムを介して）、融合画像を再構成するデコーダで構成される。元々生物医学的セグメンテーション用に開発されたU-Netアーキテクチャは、マルチスケール特徴抽出と微細な詳細を保持するスキップ接続により、融合に頻繁に適応される。
最近では、マルチヘッドアテンションメカニズムに依存するトランスフォーマーベースのモデルが、画像内の長距離依存関係を捕捉するために適用されている。これらのモデルは画像パッチをトークンとして扱い、グローバルな文脈を学習するため、大きな均一領域や複雑なテクスチャを持つシーンの融合品質を向上させることができる。トレーニングは通常、ソース画像への忠実度（例えば、平均二乗誤差）と知覚品質（例えば、構造類似性指標）のバランスを取る損失関数を使用する。一部の方法は、視覚的に現実的な出力を生成するために生成敵対ネットワークを使用するが、これはトレーニングの不安定性を追加する。
応用と課題
リモートセンシングでは、画像融合は衛星画像のパンシャープニング、光学データとレーダーデータ（例えば、Sentinel-1とSentinel-2から）の組み合わせ、および変化検出に重要である。医療画像では、コンピュータ断層撮影（CT）と磁気共鳴画像（MRI）スキャンを融合して、解剖学的および機能的情報の両方を提供し、診断や手術計画を支援する。監視では、可視光と赤外線画像の融合が、低照度や遮蔽された条件での物体検出を強化する。自動運転車両は、カメラ、LiDAR、レーダーデータの融合を使用するが、これはしばしば画像融合というよりもセンサー融合に分類される。
主な課題には、ソース間の位置ずれ、解像度の違い、空間詳細とスペクトル忠実度のトレードオフが含まれる。融合画像の評価は、真値の合成画像がほとんど存在しないため困難であり、相互情報量、エッジ保存、視覚情報忠実度などの指標が使用されるが、主観的評価が依然として一般的である。2020年代初頭の時点で、すべてのシナリオで他を上回る単一の方法は存在せず、適応的でタスク固有の融合に関する研究が続いている。
より広いAIとの関係
画像融合はコンピュータビジョンのサブフィールドであり、機械学習および深層学習と密接に関連している。これは、モデルの頑健性を向上させるために画像を組み合わせたり変更したりするデータ拡張と技術を共有している。融合アルゴリズムの開発は、残差ネットワークやバッチ正規化などのニューラルネットワークアーキテクチャとトレーニング方法の進歩から恩恵を受けている。MIT CSAILやスタンフォードAIラボなどの機関の研究グループは、理論的基盤と実用的実装の両方に貢献している。業界での採用は、Google DeepMind（衛星画像解析用）やSamsung Research（スマートフォンカメラ強化用）などの企業の製品に見られる。
将来の方向性
新たなトレンドには、マルチモーダル理解のための大規模言語モデルとの融合が含まれ、画像融合がテキスト記述と組み合わされてより豊かなシーン表現を生成する。エッジデバイスでのリアルタイム融合ももう一つの焦点であり、効率的なアーキテクチャとAWS TrainiumやQualcommチップなどのハードウェアアクセラレータによって推進されている。さらに、ラベル付きトレーニングデータへの依存を減らすために、教師なしおよび自己教師あり融合方法が探求されている。融合と生成モデルの統合は、単なる合成ではなく、理想的な条件下でのシーンのもっともらしい再構成である画像を合成することを可能にするかもしれない。
全体として、画像融合は活発な研究分野であり、多様なセンサーやタスクに適応できる、より知的で文脈認識型のアルゴリズムへの軌道にある。