スケール不変特徴変換（SIFT）は、画像内の局所特徴を検出、記述、およびマッチングするためのコンピュータビジョンアルゴリズムであり、1999年にデビッド・ロウによって発明された。これは、スケーリング、回転、および照明変化の下での堅牢な物体認識を可能にし、物体認識、ロボットマッピングとナビゲーション、画像ステッチング、3Dモデリング、ジェスチャ認識、ビデオトラッキング、野生生物の個体識別、およびマッチムーブなどの応用がある。
SIFTは参照画像からキーポイントを抽出し、それらをデータベースに格納する。新しい画像内の物体を認識するために、各特徴は特徴ベクトルのユークリッド距離を使用してデータベースと比較され、一般化ハフ変換の効率的なハッシュテーブル実装を介して一致の一貫したクラスタが特定される。3つ以上の特徴のクラスタは検証され、正しい一致の確率が計算される。このアルゴリズムはロウによって10年にわたる試行錯誤の末に開発され、その特許は2020年に失効した。
概要
画像内の任意の物体について、特徴記述を提供するために重要な点を抽出できる。この記述は、トレーニング画像から取得され、他の物体を含む新しい画像内で物体を位置特定できる。特徴は、スケーリング、ノイズ、および照明変化にもかかわらず検出可能でなければならず、多くの場合、エッジなどの高コントラスト領域に位置する。特徴間の相対位置は画像間で一貫しているべきであり、例えば、ドアの角のみを使用する場合は位置に関係なく機能するが、ドアが動く場合、フレーム上の点は失敗する。SIFTは多くの特徴を使用し、マッチングエラーに対する局所変動の影響を軽減する。
SIFTは、その記述子が均一なスケーリング、方向、および照明変化に対して不変であり、アフィン歪みに対して部分的に不変であるため、クラッタと部分的なオクルージョンの下で物体を堅牢に識別する。記述子は受容野の観点からの画像測定に基づいており、局所スケール不変参照フレームはスケール選択によって確立される。
特徴の種類
SIFT特徴は局所的であり、関心点での外観に基づき、スケールと回転に対して不変である。これらは照明変化、ノイズ、および軽微な視点変化に対して堅牢である。これらは非常に識別力が高く、抽出が容易であり、低い不一致確率で正しい識別を可能にする。大規模なデータベースに対するマッチングは、高次元性のため、ベストビンファースト検索を備えたk-dツリーなどの確率的アルゴリズムを使用する。わずか3つのSIFT特徴で物体の位置と姿勢を計算でき、現代のハードウェア上でほぼリアルタイムの認識を可能にする。
段階
スケール不変特徴検出
ロウの方法は、画像を、平行移動、スケーリング、および回転に対して不変であり、照明に対して部分的に不変であり、幾何学的歪みに対して堅牢な特徴ベクトルのコレクションに変換する。これらの特徴は、霊長類の視覚における物体検出のための基本形式を符号化する一次視覚野のニューロンに似ている。キー位置は、スケール空間におけるガウス関数の差分の最大値と最小値であり、平滑化および再サンプリングされた画像に適用される。低コントラストの候補とエッジ応答は破棄され、支配的な方向が割り当てられる。アフィン歪みに対して堅牢な記述子は、キー位置周辺の局所方向平面をぼかして再サンプリングすることによって得られる。
特徴マッチングとインデックス作成
インデックス作成はSIFTキーを格納し、新しい画像からの一致を識別する。ロウは、ベストビンファースト検索を使用した。これは、ヒープベースの優先度キューを介してクエリからの距離の順にビンを検索し、限られた計算で高い確率で最近傍を見つける修正されたk-dツリーアルゴリズムである。各キーポイントについて、データベース内の最近傍は最小ユークリッド距離によって見つけられる。候補は、最も近い異なるクラスの特徴への距離の比率が十分に大きい場合に保持され、異なる物体クラスが一致を乱雑にしないことを保証する。その後、一貫したクラスタが検証される。
応用と影響
SIFTはコンピュータビジョンで広く採用され、Artificial intelligenceやMachine learningなどの分野に影響を与えた。その堅牢性は、Deep learningやNeural networkなどの深層学習アプローチが普及する前の物体認識の標準となった。2020年の特許保護の失効は、商業および研究アプリケーションでのより広範な使用を促進した。
SIFTの原理は後の特徴記述子にも影響を与え、Computer vision（提供されたリストにないため省略）やロボティクス、特にナビゲーションのためのWaymoやTeslaにおける進歩に貢献した。部分的なオクルージョンとクラッタを処理するその能力は、野生生物の識別や映画制作におけるマッチムーブなどのシナリオで依然として価値がある。
遺産
Deep learningモデルからの学習特徴の台頭にもかかわらず、SIFTは基礎的な技術として残り、特徴マッチングベンチマークでベースラインとしてよく使用される。スケール空間理論におけるその理論的基盤は、画像分析の研究に情報を提供し続けている。10年にわたるアルゴリズムの開発は、コンピュータビジョンにおける反復的洗練の例であり、特許保護の失効は関連分野の革新を奨励した。