インスタンスセグメンテーションは、物体検出とセマンティックセグメンテーションを組み合わせ、画像内の個々の物体インスタンスを識別して輪郭を描くコンピュータビジョンのタスクである。セマンティックセグメンテーションが特定のクラスの全画素に単一のラベルを付けるのに対し、インスタンスセグメンテーションは各物体に固有のラベルを割り当て、同一カテゴリの重なり合う物体や隣接する物体を正確に分離することを可能にする。この能力は、自動運転、医療画像、ロボティクス、拡張現実など、幅広い応用において重要である。
このタスクは通常、各画素にクラスラベルとインスタンス識別子の両方を割り当てる画素単位の分類問題として定式化される。現代の手法は深層学習、特に畳み込みニューラルネットワークとトランスフォーマーベースのアーキテクチャに大きく依存しており、最先端の成果を達成している。インスタンスセグメンテーションは、画像セグメンテーションの3つの主要なグループの1つであり、セマンティックセグメンテーションおよびパノプティックセグメンテーションと並ぶ。パノプティックセグメンテーションは、全画素を分類し、可算クラスのインスタンスを区別することで両者を統合するものである。
歴史的背景
インスタンスセグメンテーションは、画像セグメンテーションと物体検出の初期の研究から発展した。古典的なコンピュータビジョン技術、例えば閾値処理、クラスタリング、エッジ検出などは基礎的な手法を提供したが、個々のインスタンスを分離する能力は欠けていた。深層学習の導入、特に2014年頃の領域ベース畳み込みニューラルネットワーク（R-CNN）の成功により、物体検出とセグメンテーションの同時実行が可能となった。2017年にKaiming HeらがFacebook AI Researchで発表したMask R-CNNアーキテクチャは、Faster R-CNNを拡張してマスク分岐を追加し、インスタンスセグメンテーションのベンチマークとなった。その後の発展には、リアルタイムのインスタンスセグメンテーションを実現するYOLACTや、セマンティックセグメンテーションとインスタンスセグメンテーションのタスクを統合するMask2Formerなどのトランスフォーマーベースのモデルが含まれる。
主要技術
インスタンスセグメンテーションへの古典的なアプローチには、閾値処理、クラスタリング、動きベースの手法がある。最も単純な手法である閾値処理は、閾値を選択してグレースケール画像を二値化するもので、大津の方法やk-meansクラスタリングなどの手法がある。k-meansや平均シフトなどのクラスタリングアルゴリズムは、色、強度、テクスチャに基づいて画素をグループに分割するが、本質的にインスタンスを区別するものではない。動きベースのセグメンテーションは、連続するフレーム間の差分を用いて移動物体を分離するもので、物体を物理的に突いて動きの手がかりを生成する対話型セグメンテーションシステムで実証されている。
現代の深層学習手法がこの分野を支配している。Mask R-CNNのような二段階検出器は、まず候補領域を提案し、次に各領域内でマスクを予測する。YOLACTやSOLOなどの一段階手法は、領域提案なしで直接マスクを予測し、より高速な推論を提供する。DETRやMask2Formerを含むトランスフォーマーベースのアーキテクチャは、インスタンスセグメンテーションを集合予測問題として扱い、注意機構を用いてグローバルな文脈を捉える。これらのモデルは、インスタンスレベルのマスクを持つ20万枚以上の画像を提供するCOCOのような大規模な注釈付きデータセットで訓練される。
応用
インスタンスセグメンテーションは広範な実用的応用を持つ。医療画像では、病理組織画像における核インスタンスセグメンテーションを可能にし、細胞計数、形態計測的特徴の抽出、腫瘍の悪性度評価を可能にする。また、腫瘍の位置特定、組織体積の測定、手術計画にも使用される。自動運転では、インスタンスセグメンテーションは歩行者、車両、障害物の検出と追跡を支援し、安全性システムを向上させる。その他の応用には、道路、森林、作物の位置特定のための衛星画像解析、物体追跡のための映像監視、コンテンツベースの画像検索が含まれる。ロボティクスでは、インスタンスセグメンテーションは物体操作とシーン理解を支援する。
課題と今後の方向性
進歩にもかかわらず、インスタンスセグメンテーションは課題に直面している。混雑したシーンや接触する細胞など、重なり合う物体や融合した物体の処理は依然として困難である。大量の注釈付きデータの必要性は、専門家による注釈が不足している医療画像などの専門分野ではボトルネックとなる。リアルタイム性能も、自動運転やロボティクスなどの応用にとって別の懸念事項である。今後の研究は、効率の向上、半教師あり学習や少数ショット学習による注釈要件の削減、パノプティックセグメンテーションなどの他のタスクとの統合による包括的なシーン理解に焦点を当てている。2025年現在、トランスフォーマーベースのモデルは、その柔軟性と精度からますます好まれている。