MS COCO Captionsは、Microsoft Common Objects in Context（COCO）コレクションの画像を説明する人間が書いた文の大規模データセットです。33万枚以上の画像それぞれに対して5つの独立したキャプションを提供し、視覚言語理解における人工知能研究の標準的なベンチマークとなっています。
このデータセットは、モデルが画像の自然言語による説明を生成する必要がある画像キャプション生成タスクを支援するために作成されました。その規模、多様性、アノテーションの品質により、機械学習と深層学習における基礎的なリソースとなっています。
歴史と作成
Microsoft COCOデータセットは、物体認識とシーン理解を進める取り組みの一環として2014年に初めて公開されました。キャプションのアノテーションはAmazon Mechanical Turkを通じて収集され、ワーカーは各画像の重要な物体、動作、関係性を説明するよう求められました。2015年には、Xinlei Chenらによる付随論文が収集方法を詳述し、評価サーバーを導入しました。最終データセットには32万8000枚の画像が含まれ、各画像に5つのキャプションがあり、合計約150万文になります。
データセットの統計と構造
各キャプションは英語の文で、通常10〜12語の長さであり、語彙全体は約1万語に及びます。画像は80の物体カテゴリをカバーし、複数の相互作用する物体を含む複雑なシーンを含みます。データセットはトレーニング、検証、テストセットに分割され、テストキャプションは評価のために保留されます。元の2014年の分割には、8万2783枚のトレーニング画像、4万504枚の検証画像、4万775枚のテスト画像が含まれます。この構造は、ニューラルネットワークモデルの再現可能なベンチマークをサポートします。
評価とベンチマーク
MS COCO Captionsは、画像キャプション生成タスクの主要なベンチマークです。BLEU、METEOR、ROUGE、CIDEr、SPICEなどの自動評価指標を使用して、モデルの出力を5つの参照キャプションと比較します。COCOプロジェクトがホストする評価サーバーにより、研究者は保留されたテストセットの結果を提出できます。初期の最先端システムは、エンコーダー・デコーダーアーキテクチャと系列変換学習を使用していました。その後の進歩により、トランスフォーマーモデルとマルチヘッドアテンションメカニズムが組み込まれ、多くの場合大規模言語モデルから初期化されました。これらのモデルは、視覚的特徴とテキストを整列させるためにクロスアテンション層を頻繁に使用し、デコードは通常ビームサーチに依存して流暢なキャプションを生成します。
影響と応用
このデータセットは、視覚言語タスクにおける生成AIの進歩を促進しました。自動代替テキスト生成、画像検索、視覚的質問応答のためのモデルを訓練するために使用されています。アノテーションは、物体検出やセグメンテーションなどの他のコンピュータビジョンタスクにおけるデータ拡張にも適応されています。研究者は、MS COCO Captionsを使用して、構成的一般化、モーダル間整列、深層学習システムの堅牢性を研究してきました。
制限と拡張
その成功にもかかわらず、MS COCO Captionsには既知の制限があります。画像は主に西洋の文脈からの日常的なシーンを描いており、キャプションは文化的バイアスを反映する可能性があります。語彙は比較的小さく、文は典型的な人間の記述よりも短いです。これらの問題に対処するために、研究者は中国語キャプション用のCOCO-CNや、オープン語彙キャプション生成用のnocapsデータセットなどの拡張を作成しました。これらの取り組みは、人工知能における新しいベンチマークの設計に影響を与え続けています。