COCO検出は、コンピュータビジョンにおけるベンチマークタスクであり、画像内の物体を識別し位置を特定する物体検出モデルの能力を評価する。このタスクは、Common Objects in Context（COCO）データセットによって定義され、20万枚以上の画像と、バウンディングボックスとカテゴリラベルで注釈が付けられた150万以上の物体インスタンスを含む。検出タスクは特に、モデルが画像内に存在する80の定義済みカテゴリの各物体インスタンスに対して、バウンディングボックスとクラスラベルを出力することを要求する。これは、インスタンスセグメンテーションやキーポイント検出など、同じ基盤データセットを使用するタスクと並んで、物体検出の進歩を測定するために最も広く使用されるベンチマークの1つである。
このベンチマークの評価指標は、複数のIntersection-over-Union（IoU）しきい値で計算される平均適合率（mAP）である。主要な指標は、しばしばmAP@[0.5:0.95]と表記され、IoUしきい値0.5から0.95までを0.05刻みで平均した適合率である。この厳格な指標は、粗い検出だけでなく、正確な位置特定を報いる。COCO検出チャレンジは、2015年の導入以来、深層学習ベースの検出アーキテクチャにおける革新の中心的な推進力となっており、リーダーボードは初期の畳み込みモデルから現代のトランスフォーマーベースの検出器への急速な改善を追跡している。
データセットと注釈
COCOデータセットは、2014年にマイクロソフトリサーチのチームによって初めてリリースされ、Tsung-Yi Linらが主導した。これは、PASCAL VOCなどの初期のデータセットの限界に対処するために設計され、画像あたりの物体数が多く、物体が小さく、文脈上の関係を持つより複雑なシーンを含む。80の物体カテゴリは、人、自転車、車、犬、カップなどの日常品から、信号機、消火栓、スノーボードなどのより具体的なクラスまでを網羅する。注釈は軸に平行なバウンディングボックスとして提供され、各ボックスは左上隅の座標、幅、高さで定義される。データセットは、トレイン（約11万8000枚の画像）、バリデーション（5000枚の画像）、テストセットに分割され、テストセットの注釈はチャレンジ評価のために非公開となっている。
検出モデルの進化
COCO検出における初期の最先端アプローチは、2段階検出器に依存しており、特に2015年にShaoqing Ren、Kaiming Heらによって導入されたFaster R-CNNファミリーが代表的である。これらのモデルは、まず領域提案ネットワークを使用して候補領域を提案し、次に各提案を分類して精緻化する。2015年のResNetアーキテクチャの導入は、特徴抽出を大幅に改善するバックボーンを提供し、COCO mAPを2017年までに約21%から37%以上に押し上げた。YOLOやSSDなどの1段階検出器は速度面で利点を提供したが、当初は精度で劣っていた。2017年のFeature Pyramid Networks（FPN）の採用により、マルチスケール特徴融合が可能となり、その差は縮まった。2018年までに、Faster R-CNNの拡張であるMask R-CNNなどのモデルは、インスタンスセグメンテーションも実行しながら、39%以上のmAPを達成した。
トランスフォーマーベースの検出器
2020年に、Meta AI（当時のFacebook AI Research）のチームによるDetection Transformer（DETR）の導入により、大きな転換が起こった。DETRは物体検出をセット予測問題として再構成し、Transformerエンコーダー・デコーダーアーキテクチャと二部マッチング損失を使用して、固定数の予測を直接出力する。これにより、アンカーボックスや非最大値抑制などの手作りのコンポーネントが不要になった。DETRは当初収束が遅かったが、その後の変種であるDeformable DETR（2021年）はトレーニング効率と精度を改善した。2023年までに、DINOやRT-DETRなどのトランスフォーマーベースの検出器は、COCOベンチマークで畳み込み対応物を一貫して上回り、テスト開発セットで50%以上のmAP値を達成した。これらのモデルは、マルチヘッドアテンションメカニズムを活用してグローバルな文脈を捉え、特に小さな物体や遮蔽された物体の検出に有益である。
トレーニングとデータ拡張
COCO検出で高いパフォーマンスを達成するには、慎重なトレーニング戦略が必要である。標準的な手法では、ImageNetで事前トレーニングされた重みでバックボーンを初期化し、その後COCOで微調整する。データ拡張は重要な役割を果たし、一般的な手法にはランダムな水平反転、ランダムなスケーリング、カラージッターが含まれる。YOLOv4で普及したMosaicやMixUpなどのより高度な手法は、複数の画像を組み合わせてロバスト性を向上させる。トレーニングは通常、AdamまたはSGDオプティマイザーを、ウォームアップとコサイン減衰を含む学習率スケジュールとともに使用する。バッチ正規化は畳み込みバックボーンで標準的であり、層正規化はトランスフォーマーベースのヘッドで使用される。トレーニングプロセスは計算集約的であり、複数のGPUを数日間必要とすることが多い。例えば、典型的なDETRモデルは8つのV100 GPUでトレーニングし、収束に約3日かかる。
影響と関連ベンチマーク
COCO検出は、物体検出研究を評価するための事実上の標準となっており、数千の論文がそのバリデーションセットで結果を報告している。その影響は関連タスクにも及んでおり、同じデータセットがインスタンスセグメンテーション（COCOセグメンテーション）、キーポイント検出（COCOキーポイント）、パノプティックセグメンテーションをサポートしている。このベンチマークはまた、正確な位置特定が重要である自動運転、ロボティクス、医療画像などの分野での実用的なアプリケーションを推進してきた。機械学習コミュニティはCOCOを参照点として使い続けているが、LVISやObjects365などの新しいデータセットは、より多くのカテゴリや大規模を提供している。このチャレンジは依然として活発であり、CVPRやECCVなどの主要会議で毎年ワークショップが開催され、リーダーボードは学術および産業の研究チームの共通の目標となっている。
限界と批判
その人気にもかかわらず、COCO検出には既知の限界がある。80のカテゴリは固定されており、多くの現実世界の物体をカバーしておらず、データセットは中央に位置し、明確に見える物体に偏りがある。mAP指標は信頼度しきい値の小さな変化に敏感であり、テストセットの注釈は公開されていないため、バリデーションセットへの過適合につながる可能性がある。一部の研究者は、COCOでのパフォーマンスが航空画像や水中画像などの他のドメインに常に変換されるわけではないと指摘している。さらに、このベンチマークは推論速度や計算コストを明示的に測定しないが、多くの論文はこれらを別途報告している。これらの問題は、Open Imagesやより最近のEgoObjectsなどの代替ベンチマークの作成を動機付けており、これらはこれらのギャップの一部に対処することを目的としている。