画像レジストレーションは、異なるデータセットを1つの座標系に変換する計算プロセスである。データは複数の写真、異なるセンサーからのデータ、異なる時刻のデータ、または異なる視点からのデータであり得る。これは、コンピュータビジョン、医用画像、軍事における自動ターゲット認識、および衛星からの画像とデータの統合・解析に使用される。レジストレーションは、異なる測定（異なるセンサータイプ、異なる時刻、異なる視点など）から得られたデータの比較や統合を可能にするために必要である。
画像レジストレーションの目標は、2つ以上の画像（通常は基準画像と移動画像（またはセンシング画像））を幾何学的に整列させ、対応する特徴や構造が一致することである。このプロセスは、移動画像の点を基準画像にマッピングする空間変換を決定することを含む。この変換は、剛体（並進と回転）、アフィン（スケーリングとシアーを含む）、または非剛体（変形可能）であり得、アプリケーションと位置ずれの性質に依存する。
主要なステップと手法
画像レジストレーションは、一般的にパイプラインに従う。まず、特徴検出が両画像内の顕著な点、エッジ、または領域を識別する。一般的な特徴検出器には、ハリスコーナーやスケール不変特徴変換（SIFT）キーポイントなどのコーナー検出器が含まれる。次に、特徴マッチングが検出された特徴間の対応関係を確立し、多くの場合、スケール、回転、または照明の変化に対して不変な記述子を使用する。第三に、変換モデル推定が、マッチングされた対応関係を使用して選択された空間変換のパラメータを計算し、外れ値を処理するためにRANSAC（ランダムサンプルコンセンサス）などのロバストな手法をしばしば使用する。最後に、画像変換とリサンプリングが、推定された変換を移動画像に適用し、バイリニア補間やキュービック補間などの補間技術を使用して整列された出力を生成する。
代替アプローチには、明示的な特徴抽出なしで変換パラメータに対して直接類似度メトリックを最適化する強度ベース（または領域ベース）の手法が含まれる。正規化相互相関、相互情報量、または二乗誤差の合計などのメトリックが使用される。これらの手法は、特徴がまばらな場合や、MRIスキャンをCTスキャンに整列させるなど、画像が異なるモダリティを持つ場合に特に有用である。
医用画像における応用
医用画像では、画像レジストレーションは、異なるモダリティ（例：PETとCT）からの画像を組み合わせるため、時間経過に伴う腫瘍成長を追跡するため、または手術ナビゲーションのために術前画像と術中画像を整列させるために重要である。例えば、放射線治療では、計画CT画像と毎日のコーンビームCT画像のレジストレーションにより、標的への放射線の正確な照射を確保しつつ、健康な組織を保護する。非剛体レジストレーションは、臓器の変形、呼吸運動、または患者の動きを考慮するためにしばしば必要である。もともと生物医学画像セグメンテーションのために開発されたU-Netアーキテクチャなどの技術は、深層学習ベースのレジストレーションに適応されており、ニューラルネットワークが画像ペアから直接変形場を予測することを学習する。
リモートセンシングとコンピュータビジョンにおける応用
リモートセンシングでは、レジストレーションが、異なる時刻、異なるセンサー、または異なる視野角から取得された衛星または航空画像を整列させる。これにより、都市開発や森林破壊の監視などの変化検出、および広大な地理的領域のモザイク作成が可能になる。光学画像と合成開口レーダー（SAR）画像の整列などのマルチモーダルレジストレーションは、異なる画像特性のために課題を引き起こす。コンピュータビジョンでは、レジストレーションは、複数の重複する写真を整列させて広角ビューを作成するパノラマステッチングや、仮想オブジェクトを現実世界のシーンに整列させる拡張現実で使用される。また、複数のカメラとセンサーからの画像を一貫した空間表現に融合する必要がある自動運転システムの基盤でもある。
深層学習アプローチ
深層学習の台頭により、畳み込みニューラルネットワーク（CNN）が画像レジストレーションに適用されている。教師あり手法は、画像ペアから変換パラメータまたは変形場を予測するようにネットワークを訓練し、訓練にはグラウンドトゥルースの整列が必要である。教師なし手法は、空間トランスフォーマーネットワークに触発され、微分可能な画像サンプラーを使用して移動画像をワープし、正規化相互相関などの類似度損失を最小化し、グラウンドトゥルースラベルを必要としない。これらのアプローチは、推論時に高速であり、複雑な非剛体変形を処理できる。しかし、多くの場合、大量のトレーニングデータが必要であり、未見の解剖学的構造やセンサータイプにうまく一般化しない可能性がある。ハイブリッド手法は、古典的な最適化と深層学習を組み合わせ、例えば、ネットワークを使用して変換を初期化したり、変形場を正則化したりする。
課題と将来の方向性
画像レジストレーションは、大きな変形、オクルージョン、強度変動、およびマルチモーダルな違いなどの要因により、依然として困難である。ノイズと外れ値に対するロバスト性は、継続的な関心事である。将来の方向性には、長距離依存性を捉えるためのトランスフォーマーベースのアーキテクチャの使用、およびセグメンテーションや分類などの他のタスクとの統合をジョイントフレームワークで行うことが含まれる。大規模データセットと標準化された評価メトリックの開発は、進歩を推進し続けている。2020年代半ばの時点で、深層学習ベースの手法は臨床および産業環境でますます採用されているが、古典的な手法は、その解釈可能性と低いデータ要件のために依然として価値がある。
関連項目
- コンピュータビジョン
- 医用画像
- リモートセンシング
- 空間トランスフォーマーネットワーク