RefCOCOgは、参照表現理解のためのデータセットであり、コンピュータビジョンと自然言語処理におけるタスクで、システムがテキストによる記述に基づいて画像内の特定のオブジェクトを特定する必要がある。これは、初期のRefCOCOデータセットの拡張として導入され、人間が生成した言語に似た、より長く、より説明的なフレーズに焦点を当てている。このデータセットは、33万枚以上の画像と詳細なオブジェクト注釈を含むMicrosoft COCO（Common Objects in Context）画像コレクションに基づいて構築されている。
RefCOCOgの主な特徴は、その記述にある。初期のデータセットでは、短くテンプレートベースのフレーズがよく使われていたのに対し、RefCOCOgは、文脈情報、空間的関係、属性の詳細を含む、より長く、より自然な文を提供する。例えば、単に「男性」ではなく、「青いシャツを着て赤い車の隣に立っている男性」のような記述がある。これにより、視覚的内容と言語的ニュアンスの両方を理解するモデルを評価する上で、データセットはより困難で現実的になっている。
データセットの構築
RefCOCOgは、ノースカロライナ大学チャペルヒル校の研究者によって作成され、2016年の論文で初めて発表された。このデータセットは、クラウドソーシングプラットフォームを用いて構築され、ワーカーはCOCOの画像を表示され、画像内の特定のオブジェクトを一意に識別する記述を書くように求められた。指示は、事前定義されたテンプレートを使用するのではなく、自然で人間らしいフレーズを生成することを強調した。このプロセスにより、26,711枚の画像にわたる54,822個のオブジェクトに対して、約104,560件の参照表現が作成された。
データセットは、トレーニング、検証、テストセットに分割されている。RefCOCOg-googleと呼ばれる一般的な分割では、トレーニングと検証に90/10の分割が使用され、別のテストセットが設けられている。もう1つの分割であるRefCOCOg-umdは、後にメリーランド大学の研究者によって提案され、分割間でよりバランスの取れた画像分布を提供している。分割の選択はモデル評価に大きな影響を与える可能性があり、分割によって難易度が異なる場合がある。
評価と指標
RefCOCOgの標準的な評価では、精度指標が使用され、予測されたバウンディングボックスとグラウンドトゥルースボックスの間の交差結合比（IoU）が、通常0.5の閾値を超える場合に予測が正しいと見なされる。一部の評価では、位置特定の精度を評価するために、0.75などのより高いIoU閾値での精度も報告される。このタスクは、多くの場合、ランキング問題として構成され、モデルはオブジェクト検出器によって生成された候補領域のセットから正しい領域を選択する必要がある。
AI研究への影響
RefCOCOgは、視覚的グラウンディングとマルチモーダル理解のベンチマークとなっている。これは、Transformer (architecture)アーキテクチャやLarge language modelに基づくものなど、視覚と言語を組み合わせたモデルを評価するために広く使用されている。このデータセットは、領域レベルのキャプション、視覚的質問応答、参照表現生成などの分野での進歩を促進してきた。多くの現代的なアプローチは、Deep learning技術、特にResidual Network (ResNet)バックボーンやMulti-Head Attentionメカニズムを使用して、このデータセットのより長い記述によってもたらされる課題に取り組んでいる。
このデータセットはまた、バウンディングボックスではなくピクセルレベルのマスクを生成することを目的とする参照表現セグメンテーションなどの関連タスクの基盤としても機能する。研究者はRefCOCOgを拡張して、時間的またはインタラクティブな要素を含む新しいベンチマークを作成しているが、元のデータセットは標準的な参照点として残っている。
制限と課題
その有用性にもかかわらず、RefCOCOgには既知の制限がある。記述は初期のデータセットのものよりも長いが、完全な自然言語の段落と比較するとまだ比較的短い。データセットはまた、一般的なオブジェクトカテゴリの過剰表現や日常的なシーンへの焦点など、COCOからバイアスを受け継いでいる。さらに、クラウドソーシングによる記述は曖昧であったり、視覚的に常に明らかではない文脈に依存したりする可能性があり、場合によっては人間のアノテーターにとってもタスクを困難にしている。
もう1つの課題は、評価プロトコル自体である。固定されたIoU閾値を使用することは、特に小さなオブジェクトや不規則な形状のオブジェクトの場合、モデルの位置特定の品質を完全に捉えられない可能性がある。近年、研究者はより堅牢な指標と評価フレームワークを提案しているが、元の精度指標が最も一般的に報告されている。
今後の方向性
RefCOCOgは、新しいAI手法のテストベッドとして引き続き関連性がある。Generative AIとマルチモーダルモデルの台頭に伴い、このデータセットは、これらのシステムが言語を視覚的内容にどのようにグラウンディングできるかを調査するためによく使用される。将来の研究には、より多様な記述でデータセットを拡張すること、ビデオや3Dシーンを組み込むこと、または他のベンチマークと統合してより包括的な評価スイートを作成することが含まれる可能性がある。RefCOCOgから得られた教訓は、現実世界の言語と視覚の複雑さをよりよく反映した次世代の視覚的グラウンディングデータセットの開発に情報を提供する可能性が高い。