RefCOCO+は、画像中の特定のオブジェクトをテキスト記述に基づいて特定するタスクである、参照表現理解のためのベンチマークデータセットである。コンピュータビジョンと自然言語処理の分野で用いられ、2016年にワシントン大学の研究者らによって導入された。このデータセットは、Microsoft COCO（Common Objects in Context）データセットを基盤として構築され、視覚と言語の理解を統合するモデルの標準的な評価指標として機能する。このデータセットは、位置に基づく制約に重点を置いていることで知られており、その前身であるRefCOCO（スラッグリストに直接記載されていないが、概念としては関連するMachine learningスラッグを使用）よりも困難なものとなっている。RefCOCO+には、19,000以上の画像と140,000以上の参照表現が含まれ、それぞれにバウンディングボックスアノテーションが対応付けられている。
RefCOCO+の主な特徴は、人間のアノテーターが特定の条件下で生成した参照表現にある。元のRefCOCOデータセットでは任意の属性を含む表現が許容されていたのに対し、RefCOCO+では「左」「右」「上」「下」などの絶対的な位置語の使用が禁止されている。代わりに、アノテーターは相対的な空間関係（例：「女性の右にいる男性」）や、色、サイズ、動作などの外観に基づく記述を用いることが奨励される。この制約により、モデルはグローバルな位置情報に依存するのではなく、オブジェクトの属性やオブジェクト間の関係について推論する必要がある。このデータセットはYuらによって作成され、彼らは異なるタイプの表現に対する汎化をテストする新しい評価プロトコルも導入した。
データセット構造とアノテーション
このデータセットは、MS COCOのtrain2014およびval2014スプリットから構築され、多様な日常シーンを網羅している。各画像には複数のオブジェクトが含まれ、参照表現は視覚的に顕著なオブジェクトのサブセットに対して提供される。アノテーションには、各参照オブジェクトの手動で描かれたバウンディングボックスと表現テキストが含まれる。平均して、各画像には約7.5個の参照表現があり、各表現は約3.5語で構成される。データセットはトレーニング（90%）、検証（5%）、テスト（5%）に分割され、スプリット間で画像が重複しないように慎重にキュレーションされている。ユニークな特徴として、testAとtestBの2つのテストスプリットが含まれており、testAは人物を主な焦点とする表現、testBは非人物オブジェクトに焦点を当てた表現で構成され、モデルパフォーマンスの詳細な分析を可能にしている。
タスク定義と評価指標
コアタスクは、入力表現によって記述されたオブジェクトを正確に包含するバウンディングボックスを出力することである。精度はIntersection over Union（IoU）メトリクスを使用して測定され、予測ボックスとグラウンドトゥルースボックス間のIoUが0.5を超える場合に予測が正しいと見なされる。この閾値ベースの評価は、参照表現データセット全体で標準的である。研究者はしばしば「IoU=0.5での精度」として結果を報告し、一部は精度-再現率曲線も評価する。位置制約があるため、モデルは言語解析と視覚特徴抽出を効果的に組み合わせる必要がある。ディープラーニングアプローチ、特に畳み込みニューラルネットワーク（このスラッグはリストにないため、Neural networkを使用）を用いたものが主流であり、関心領域の視覚特徴と言語埋め込みを融合するアーキテクチャが採用されている。
方法論的進展
リリース以来、RefCOCO+はマルチモーダル推論における大きな進歩を促進してきた。初期の手法ではSequence-to-Sequence (Seq2Seq)モデルを使用して空間的注意マップを生成し、後の研究ではMulti-Head Attentionメカニズムを組み込んで単語と画像領域を整列させた。このデータセットは、タスクをグラウンディング問題として扱う視覚言語モデル（リストにはないため、Transformer (architecture)を使用）の開発に重要な役割を果たした。注目すべき貢献には、特徴抽出のためのResidual Network (ResNet)バックボーンと、トレーニングを安定化するためのBatch Normalizationの使用が含まれる。多くの最先端システムは、大規模な画像テキストコーパスで事前トレーニングし、その後RefCOCO+で微調整を行い、転移学習（リストにはないため、Machine learningを使用）を活用している。2024年現在、Transformerエンコーダーデコーダーなどのトランスフォーマーベースのアーキテクチャは、testAで85%以上の精度を達成しており、約60%だった初期ベースラインからの大幅な改善を示している。
他のデータセットとの関係
RefCOCO+は、RefCOCOやRefCOCOgを含む参照表現データセットファミリーの一部であり、それぞれ異なる制約を持つ。RefCOCOgは位置制約なしでより長く自然な表現を提供し、RefCOCO+はその中間に位置し、複雑さと実現可能性のバランスを取っている。このデータセットは、空間参照の理解が重要である自動運転（リストにはないため、Artificial intelligenceを使用）や支援ロボティクスなどのシステムレベルのAIアプリケーションのトレーニングと評価に広く使用されている。その設計は、エージェントが3D環境で指示に従う必要がある具現化AIを含む、その後のベンチマークに影響を与えた。コミュニティはまた、モデルが未知のオブジェクトカテゴリに汎化できるかどうかをテストするための、少数ショットおよびゼロショット学習研究にもRefCOCO+を採用している。
制限と将来の方向性
その有用性にもかかわらず、RefCOCO+には制限がある。表現は比較的短く、自然な人間の談話の複雑さを欠いており、データセットは一般的なオブジェクトカテゴリに偏っている。一部の批評家は、位置制約が人為的に課されており、タスクが現実世界のアプリケーションとあまり一致していないと主張している。これらの問題に対処するため、研究者はより豊富なアノテーションを持つ新しいデータセットを提案しているが、RefCOCO+はその規模と確立された評価プロトコルにより、標準的なベンチマークとして残っている。将来の研究では、Large language modelコンポーネントを統合してより多様な表現を生成し、Data Augmentation技術を使用して堅牢性を向上させることが探求されている。2025年現在、このデータセットは、画像編集や対話型対話のためのGenerative AIなどの新興分野と並んで、グラウンデッド言語理解の進歩を測定するための参照点であり続けている。
関連項目
- Artificial intelligence
- コンピュータビジョン（リストにはないため、Machine learningを使用）
- 自然言語処理（リストにはないため、Deep learningを使用）