RefCOCO（参照表达式理解数据集）

RefCOCOは、コンピュータビジョンと自然言語処理の分野において、参照表現理解のタスクに広く用いられているデータセットである。このデータセットは、Microsoft Common Objects in Context（MS COCO）データセットの画像と、それぞれの画像内の特定のオブジェクトを識別する自然言語の参照表現、および対応するバウンディングボックスアノテーションで構成されている。このデータセットは、言語を視覚的オブジェクトに接地する研究を支援するために導入されたものであり、これは言語を通じて視覚的シーンを理解し、相互作用するシステムにとって基礎的な能力である。

このデータセットは、カリフォルニア大学バークレー校の研究者によって作成され、2014年に初めて発表された。約19,000枚の画像にわたる約20,000個のオブジェクトに対して、50,000以上の参照表現が含まれている。表現は、アノテーターが画像内でオブジェクトを一意に識別できるように記述するゲーム形式のインターフェースを通じて収集され、フレーズが文脈に関連し、識別力を持つことを保証している。RefCOCOは、参照表現理解を行うモデルを評価するための標準的なベンチマークとなっており、その目標は、与えられたフレーズによって記述されたオブジェクトを特定することである。

構造とアノテーション

RefCOCOは、インスタンスレベルのセグメンテーションマスクを提供する多様な画像セットを備えたMS COCOデータセットに基づいている。RefCOCOの参照表現は、オブジェクトの属性、位置、または他のオブジェクトとの関係によってオブジェクトを記述する、通常は1語から数語の短い自然言語フレーズである。例えば、「左側の赤い車」や「傘をさしている女性」といったフレーズがある。各表現には、参照されるオブジェクトを厳密に囲むバウンディングボックスがペアになっている。アノテーションはトレーニング、検証、テストセットに分割され、テストセットはさらに2つのサブセット（TestAとTestB）に分けられ、異なるタイプの表現への一般化を評価する。

アノテーションプロセスは2段階のアプローチを採用している。まず、アノテーターは画像を表示され、関心のあるすべてのオブジェクトを特定するように求められ、それらはMS COCOの分類法のカテゴリでラベル付けされた。次に、別のグループのアノテーターが、他の人がオブジェクトを一意に識別できるように各オブジェクトを記述するように求められた。このプロセスにより、表現が自然で多様であり、人間が文脈内のオブジェクトを参照する方法を捉えることが保証された。

タスク定義

RefCOCOに関連する主要なタスクは、参照表現理解、別名ビジュアルグラウンディングである。画像と自然言語表現が与えられた場合、モデルは参照されるオブジェクトを特定するバウンディングボックスを出力する必要がある。このタスクは、モデルが視覚コンテンツと言語の意味論の両方を理解することを要求し、属性、空間関係、オブジェクトカテゴリを含む。RefCOCOは、モデルが画像内の特定のオブジェクトに対して自然言語の記述を生成する必要がある参照表現生成の関連タスクもサポートしている。

理解タスクの評価指標には、通常、IoU > 0.5などの異なるIntersection over Union（IoU）閾値での精度が含まれ、予測されたバウンディングボックスがグラウンドトゥルースボックスと半分以上重なる必要がある。この指標は、位置特定の精度と、妨害オブジェクトの中からターゲットオブジェクトを正しく識別する能力の両方を測定する。

影響と使用法

RefCOCOは、視覚言語理解の研究を進める上で重要な役割を果たしてきた。初期のDeep learningやNeural networkアーキテクチャに基づくアプローチから、より最近のTransformer (architecture)ベースのモデルまで、多くのモデルのトレーニングと評価に使用されてきた。このデータセットは、参照表現のスタイルと複雑さが異なるRefCOCO+やRefCOCOgなどのバリアントも生み出した。RefCOCO+は、位置を説明せずに外観を記述する表現に焦点を当てており、RefCOCOgにはより長く、より説明的なフレーズが含まれている。

このデータセットは、OpenAIやGoogle DeepMindなどの組織によって開発された、視覚入力を統合するLarge language modelベースのシステムのパフォーマンスを評価するために、他のベンチマークと併用されることが多い。これは、画像キャプション、視覚的質問応答、人間とロボットの相互作用などのアプリケーションにとって重要な能力である、視覚データに言語を接地する必要があるGenerative AIモデルのテストベッドとして機能する。

課題と制限

広く使用されているにもかかわらず、RefCOCOには特定の制限がある。画像はMS COCOから取得されており、主に一般的なオブジェクトを含む日常的なシーンが含まれているため、ドメインの多様性が制限されている。参照表現は比較的短く、語用論的または曖昧な参照などの自然言語の完全な複雑さを捉えていない可能性がある。さらに、データセットには特定のオブジェクトカテゴリと空間構成に対するバイアスがあり、それに基づいてトレーニングされたモデルで過学習につながる可能性がある。

研究者は、拡張バージョンを作成したり、より困難なデータセットで微調整する前の事前トレーニングステップとしてRefCOCOを使用したりすることで、これらの問題の一部に対処してきた。このデータセットは、視覚的接地のコア能力を評価するための標準であり続けており、その継続的な使用は、Artificial intelligenceの分野におけるその重要性を反映している。

関連研究と拡張

RefCOCOは、参照表現理解と生成の研究の一線を刺激してきた。多くのモデルが、視覚的特徴と言語埋め込みを組み合わせ、多くの場合、注意メカニズムを使用して単語を画像領域と整列させることを提案している。このデータセットは、妨害オブジェクトが理解の難易度に与える影響など、文脈の役割を研究するためにも使用されてきた。RefCOCOgなどの拡張はより複雑な表現を提供し、ビデオや3Dシーンでの参照表現のために他のデータセットも作成されているが、RefCOCOは依然として基礎的なリソースである。

RefCOCOの開発は、大規模な注釈付きデータセットがモデルのトレーニングと評価に不可欠であるMachine learningとcomputer visionのより広いトレンドと一致している。これはコミュニティにとって重要なリソースであり、再現可能な比較を可能にし、マルチモーダル理解の進歩を推進してきた。