COCO Keypointsは、Microsoft Common Objects in Context（COCO）データセットのサブセットであり、人間の姿勢推定とキーポイント検出タスクのために特別に設計されている。鼻、目、耳、肩、肘、手首、腰、膝、足首を含む17の身体関節の詳細なアノテーションを、多様な実世界画像中の人物インスタンスに対して提供する。このデータセットは、Computer visionとArtificial intelligenceの分野における標準的なベンチマークとなっており、研究者が制約のない環境で人体部位を特定するモデルを訓練・評価することを可能にしている。
COCO Keypointsデータセットは、2014年にマイクロソフトの研究者によってメインのCOCOデータセットとともに導入された。キーポイントアノテーション付きの20万以上の人物インスタンスを含み、11万8千枚以上の訓練画像と5千枚の検証画像から抽出されている。各キーポイントには可視性フラグ（可視、遮蔽、未ラベル）が付けられており、モデルが部分的な遮蔽を処理できるようにしている。アノテーションは厳密な形式に従い、キーポイントは一貫した順序で並べられ、各人物インスタンスにはバウンディングボックスとセグメンテーションマスクも提供される。
アノテーション形式と品質
COCO Keypointsの各人物アノテーションには、17のキーポイントのリストが含まれ、(x, y, 可視性)の3つ組で表される。可視性フラグは、0（未ラベル）、1（ラベルありだが遮蔽）、2（ラベルありかつ可視）の値を取る。この詳細なラベル付けは、検出精度と位置特定精度を区別する評価指標をサポートする。データセットは、カスタムツールを使用して専門のアノテーターによってアノテーションされ、一貫性を確保するための品質管理プロセスが実施された。キーポイントの順序は固定された解剖学的順序に従っており、モデルの出力形式と評価を簡素化している。
評価指標
COCO Keypointsの主要な評価指標は、Object Keypoint Similarity（OKS）であり、人物のスケールで正規化された予測キーポイントと正解キーポイント間の距離を測定する。標準的な指標は、複数のOKS閾値（0.50、0.75、0.90）で計算される平均適合率（AP）である。この指標は、人物のサイズに対するキーポイント位置特定の難しさを考慮している。2016年から2019年まで毎年開催されたCOCO Keypointsチャレンジは、多くの研究チームを引き付け、姿勢推定アーキテクチャの大幅な進歩を促進した。
姿勢推定研究への影響
COCO Keypointsは、姿勢推定のためのDeep learningアプローチの進歩に重要な役割を果たしてきた。初期の手法はResidual Network (ResNet)バックボーンと逆畳み込みヘッドを使用していたが、後のアプローチではTransformer (architecture)アーキテクチャとマルチスケール特徴融合が取り入れられた。データセットの多様性（複雑な背景、様々な照明、複数の人物を含む画像）は、モデルを単純な制御環境を超えて押し上げた。U-Netの変種やアテンションメカニズムに基づく多くの最先端システムが、このデータセットでベンチマークされている。この高品質なラベル付きデータの利用可能性は、手動でそのようなアノテーションを生成するのが高価で時間がかかるため、教師あり学習にとって重要であった。
拡張と関連データセット
COCO Keypointsのいくつかの拡張が、専門的なタスクのために開発されている。COCO-WholeBodyデータセットは、顔、手、足のアノテーションを含む133のキーポイントを追加する。CrowdPoseデータセットは、複数の相互作用する人物がいる混雑したシーンに焦点を当てている。COCO Keypointsのアノテーションは、半教師あり学習のための擬似ラベルを生成したり、行動認識や人間とコンピュータの相互作用などの他の姿勢関連タスクのモデルを事前訓練するためにも使用されている。このデータセットは、ロボティクス、スポーツ分析、医療モニタリングなどの学術研究と産業応用で広く使用され続けている。
利用可能性と使用法
COCO Keypointsは、COCOライセンスの下で研究目的に自由に利用可能である。アノテーションはJSONファイルとして配布され、画像はFlickrから取得されている。データセットはCOCOウェブサイトでホストされ、様々なMachine learningフレームワークやツールを通じてアクセスできる。多くのオープンソースライブラリが、COCO Keypointsデータの読み込みと処理のためのユーティリティを提供しており、世界中の研究者が利用できるようにしている。このデータセットは、数千の査読付き出版物で引用されており、姿勢推定アルゴリズムの開発における中心的な役割を反映している。