COCOインスタンスセグメンテーションは、Microsoft COCO（Common Objects in Context）データセットによって定義されたコンピュータビジョンにおけるベンチマークタスクです。その目標は、画像内の各オブジェクトのインスタンスを検出し、各インスタンスを正確に輪郭付けるピクセルレベルのマスクを生成し、同じクラスの別々のオブジェクトを区別することです。このタスクは、人、車、犬などの数えられるオブジェクトである80の「thing」クラスを対象とし、空や草などの「stuff」クラスとは対照的です。これは、位置特定と細かい空間理解の両方を必要とするタスクにおけるDeep learningモデルの性能を評価するために広く使用されています。
COCOデータセットは、2014年にMicrosoftのチームによって初めてリリースされ、インスタンスセグメンテーションのアノテーションは2015年のリリースで追加されました。データセットには20万枚以上の画像が含まれ、その境界を定義するポリゴンでラベル付けされた150万以上のオブジェクトインスタンスがあります。公式の評価指標は、IoU（Intersection over Union）閾値0.5から0.95まで0.05刻みで平均した平均適合率（AP）であり、小、中、大オブジェクトの追加指標もあります。この指標は、しばしばCOCO APと呼ばれ、インスタンスセグメンテーションモデルを比較するための事実上の標準となっています。
モデルの進化
初期のインスタンスセグメンテーションへのアプローチは、オブジェクト検出フレームワークに基づいていました。2017年にFacebook AI ResearchのKaiming Heらによって導入されたMask R-CNNアーキテクチャは、Faster R-CNN検出器を拡張し、バウンディングボックス回帰と並行してセグメンテーションマスクを予測するブランチを追加しました。Mask R-CNNは、以前の方法よりも大幅な改善を達成し、COCOテストセットで約35 APに達する強力なベースラインを確立しました。その成功により、マルチスケール特徴抽出のためのFeature Pyramid Networkを備えたResNetバックボーンの使用が普及しました。
その後のモデルは、精度と効率を向上させました。2019年に導入されたYOLACTは、プロトタイプマスクを生成し、インスタンスごとの係数と組み合わせるリアルタイムアプローチを提案し、精度を多少犠牲にしながら高速な推論を実現しました。2020年には、Cascade Mask R-CNNの変種が検出器のカスケードを適用してAPを向上させました。2020年にFacebook AIによって導入されたDETRモデルは、Transformer (architecture)エンコーダー-デコーダーアーキテクチャを使用してオブジェクト検出をセット予測問題として扱い、アンカーボックスや非最大抑制などの手作りのコンポーネントを排除しました。DETRとその後継モデル（Mask2Former（2021年）など）は、インスタンス、パノプティック、セマンティックセグメンテーションタスクを単一のマスク分類フレームワークの下で統合しました。
評価と指標
COCOインスタンスセグメンテーションの主要な指標は平均適合率（AP）であり、すべての予測マスクを信頼度でソートし、さまざまなIoU閾値で適合率と再現率を測定して計算されます。公式のCOCO評価では、IoU 0.50と0.75でのAPも個別に報告され、さらに異なるオブジェクトサイズ（小：面積が32^2ピクセル未満、中：32^2から96^2の間、大：96^2超）でのAPも報告されます。チャレンジでは、画像ごとの固定数の検出による平均再現率（AR）も追跡します。これらの指標により、モデルが大きなオブジェクトの検出に優れている一方で小さなオブジェクトに苦労する場合など、微妙な比較が可能になります。
COCO test-devセットは年次チャレンジに使用されますが、研究者は迅速な反復のために検証セット（val2017）で結果を報告することがよくあります。データセットはtrain2017（約118,000枚の画像）とval2017（5,000枚の画像）に分割されています。公式の評価サーバーは一貫した評価を強制しますが、多くの論文ではpycocotoolsライブラリをローカルで使用して指標を計算することもあります。
アプリケーションと影響
インスタンスセグメンテーションは、自動運転、ロボティクス、医療画像、拡張現実など、正確なオブジェクト境界を必要とするアプリケーションにとって重要です。自動運転では、歩行者、車両、道路オブジェクトをセグメント化することで、知覚システムがシーンを理解するのに役立ちます。ロボティクスでは、ピクセルレベルのマスクにより、特定のオブジェクトの把持と操作が可能になります。COCOベンチマークはこれらの分野での急速な進歩を促進し、最先端モデルは2017年の約35 APから2024年には60 AP以上に向上しました。これは主に、ニューラルネットワークアーキテクチャ、データ拡張技術、およびトレーニング戦略の進歩によるものです。
このタスクは、関連する問題の基盤としても機能します。パノプティックセグメンテーションは、インスタンスセグメンテーションとセマンティックセグメンテーションを組み合わせ、モデルがすべてのピクセルにクラスとインスタンスIDの両方をラベル付けすることを要求します。COCOデータセットはパノプティックアノテーションを含むように拡張されており、Mask2Formerなどのモデルが両方のタスクを処理します。さらに、インスタンスセグメンテーションは、正確なマスクがターゲットを絞った変更を可能にする画像編集のための生成モデルでも使用されます。
課題と限界
進歩にもかかわらず、COCOインスタンスセグメンテーションは依然として困難です。小さなオブジェクトはピクセル情報が限られているため特に難しく、遮蔽されたり重なり合うインスタンスはモデルを混乱させる可能性があります。80のthingクラスは不均衡であり、人や車などの一般的なクラスが支配的である一方、ヘアドライヤーや歯ブラシなどのまれなクラスは例がほとんどありません。データセットには、西洋の文脈からの画像が優勢であるなどのバイアスもあり、モデルの一般化に影響を与える可能性があります。2025年現在、研究者は、より良い損失関数、効率のためのモデルプルーニング、およびより大規模で多様なデータセットの開発を通じて、これらの問題に引き続き取り組んでいます。
もう一つの限界は、最先端モデルのトレーニングにかかる高い計算コストであり、多くの場合、複数のGPUと数日間のトレーニングが必要です。これにより、効率的なアーキテクチャとプルーニング技術への関心が高まっています。COCOベンチマークは進歩を測定するための重要なツールであり続けていますが、一部では飽和していると主張され、1,200以上のクラスを持つLVIS（Large Vocabulary Instance Segmentation）などのより困難なベンチマークの作成を促しています。