COCO-Panopticは、パノプティックセグメンテーション（セマンティックセグメンテーション（各ピクセルをカテゴリに分類する）とインスタンスセグメンテーション（個々のオブジェクトインスタンスを検出・セグメント化する）を統合するコンピュータビジョンタスク）のためのベンチマークデータセットおよび評価指標です。Common Objects in Context（COCO）データセットの拡張として導入され、単一の出力で「stuff」（空、草、道路などの非晶質な背景領域）と「things」（人、車、動物などの数えられるオブジェクト）の両方を予測するモデルを訓練・評価する標準化された方法を提供します。このベンチマークは、この分野の事実上の標準となり、自動運転、ロボティクス、拡張現実などのアプリケーションにおけるシーン理解の進歩を促進しています。
このベンチマークは、2019年の論文「Panoptic Segmentation」で、Alexander Kirillov、Kaiming He、Ross Girshick、Piotr Dollárによって提案され、IEEE/CVFコンピュータビジョン・パターン認識会議（CVPR）で発表されました。著者らはパノプティックセグメンテーションを新しいタスクとして定義し、既存のCOCOデータセットのサブセットを再アノテーションすることでCOCO-Panopticを作成しました。データセットには、元のCOCOのtrain/val/test分割から派生した118,000枚のトレーニング画像、5,000枚の検証画像、20,000枚のテスト画像が含まれています。80の「thing」クラス（元のCOCOオブジェクトカテゴリ）と53の「stuff」クラスを含み、合計133カテゴリで構成されています。stuffアノテーションは、水、地面、空などの領域に対して密なピクセル単位のラベルとして追加され、これらはCOCOインスタンスアノテーションでは以前ラベル付けされていませんでした。
COCO-Panopticは、Panoptic Quality（PQ）と呼ばれる統一評価指標を導入しました。PQは、セグメンテーション品質と認識品質を単一のスコアに組み合わせ、検出品質（DQ）とセグメンテーション品質（SQ）の積として計算されます。各クラスについて、PQは予測セグメントと正解セグメントをマッチングし（IoU閾値0.5）、真陽性を合計し、真陽性の合計に偽陽性と偽陰性の半分を加えたもので割ることで計算されます。この指標はstuffとthingsを平等に扱い、どちらかへの偏りを避けます。この設計は、パノプティックセグメンテーションの重要な課題である、小さなオブジェクトと大きな背景領域の両方でモデルが良好に機能することを促します。
タスク定義と先行研究との関係
パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションの間に位置します。セマンティックセグメンテーションは各ピクセルにクラスラベルを割り当てますが、クラス内の個々のオブジェクトを区別しません（例：2台の車が統合される）。インスタンスセグメンテーションは各オブジェクトを個別に識別しますが、通常はラベル付けされていない背景領域を無視します。パノプティックセグメンテーションは、各ピクセルがthingインスタンス（ID付き）またはstuffクラスのいずれかである単一のラベリングを生成し、完全なシーン記述を提供します。COCO-Panopticベンチマークは、組み合わせセグメンテーションに関する先行研究に基づいてこのタスクを形式化しました。特に、このデータセットはCOCOと同じ画像を使用しており、既存のモデルやツールとの互換性を確保しつつ、アノテーションの粒度を拡張しています。
データセット統計とアノテーションプロセス
COCO-Panopticのアノテーションパイプラインには、多大な人的労力が関与しました。stuffクラスは2段階のアプローチでアノテーションされました：まず、クラウドソーシングのワーカーがカラー画像上の各stuff領域にポリゴンを描画し、次に品質管理のレビュー担当者が重なりや境界を修正しました。各アノテーションは、16ビットのクラスIDを持つ単一チャンネルのPNGマスクとして保存されます。データセットには、「panoptic」JSONファイル（セグメント情報を含む）と密なマスク画像の両方が含まれています。元のCOCOインスタンスセグメンテーションラベルはthings用に保持されましたが、インスタンスマスクがstuff領域と重なる場合（例：歩道に立っている人）、下にあるstuffラベルはthingマスクから除外され、ピクセル排他的なラベルが確保されました。この細心のラベリングにより、付随する論文で報告されているように、評価者間および評価者内の一致度が高いデータセットが得られました（人間のアノテーターのPQが参照上限として使用されました）。
評価と課題
COCO-Panopticは公式の評価サーバーを導入し、研究者が予測を提出して全133クラスにわたるPQスコアを受け取ることを可能にしました。高いPQを達成する課題は、大きな非晶質のstuff領域（グローバルな文脈が必要）と小さく密集したthingインスタンス（正確な境界が必要）の両方を処理することにあります。初期のベースラインは、Residual Network (ResNet)ベースの特徴抽出器やU-Netスタイルのデコーダーなどの既存アーキテクチャを拡張しましたが、このタスクは新しい設計を動機付けました。例えば、一部の手法ではstuffとthingsに別々のヘッドを使用してから結果を融合し、他の手法ではエンドツーエンドのトランスフォーマーベースのアプローチ（例：Mask2Former）を採用しています。このベンチマークは、手法を平等に比較する上で重要な役割を果たし、検証セットでのトップスコアは2019年の約42 PQから、最近の最先端モデルでは60 PQ以上に向上しました。この指標はクラスの不均衡に対しても堅牢で、各クラスが均等に寄与するため、「空」のようなstuffクラスが「歯ブラシ」のインスタンスよりもはるかに多くのピクセルを占める場合に重要です。
影響と関連ベンチマーク
COCO-Panopticの成功は、その後のデータセットやタスクに影響を与えました。ビデオ（例：Cityscapes-VPS）に拡張され、実世界のアプリケーションで採用されています。このベンチマークは、Artificial intelligenceやDeep learning研究の目標と一致しており、全体的な知覚は具現化エージェントへの足がかりです。特に、COCO-PanopticアノテーションはCOCO-Stuffデータセット（全COCO画像にstuffのみのラベルを提供）で使用され、Detectron2やMMDetectionなどの主要フレームワークのData Augmentationツールキットに組み込まれています。評価指標PQは広く採用され、多くの論文が従来の指標（平均IoU（mIoU）や平均精度（AP））とともに報告しています。2025年現在、COCO-Panopticは最も引用されるパノプティックセグメンテーションベンチマークであり続けていますが、ADE20KやCityscapesなどの新しいデータセットもパノプティックアノテーションを提供し、比較にPQを使用することがよくあります。このベンチマークの設計原則、特に統一指標とstuff/things統合は、現代のシーン理解タスクのテンプレートとなっています。
今後の方向性
進行中の研究は、COCO-Panopticの限界（固定された133カテゴリや静止画像など）に対処しています。拡張には、オープン語彙パノプティックセグメンテーション（Large language model埋め込みを使用して未知のクラスを認識する）や、ビデオストリーム上のパノプティックセグメンテーションが含まれます。しかし、このベンチマークの核となるアイデアは影響力を持ち続けています：慎重にアノテーションされ、バランスの取れたデータセットと単一の意味のある指標が分野を加速できることを示しています。研究者はCOCO-Panopticをモデルの事前学習に使用し続け、その重みや特徴はCross-Attentionベースのトランスフォーマーなどの下流タスクに転送されることがよくあります。Neural networkアーキテクチャが進化するにつれて、このベンチマークは安定した基準を提供し、進歩が一貫して測定されることを保証します。