ReferItは、参照表現グラウンディング（自然言語の記述を画像内の特定領域に結び付けるタスク）のためのデータセットである。このデータセットは、視覚的グラウンディング、人間とロボットのインタラクション、マルチモーダル推論などの分野の研究を促進するために導入された。データセットは、画像と自然言語の参照表現をペアにし、各表現に対応する対象領域を指定するバウンディングボックスアノテーションを提供する。
このデータセットは、約20,000枚の画像と130,000以上の参照表現で構成されている。画像はImageNetから収集され、表現は協調的な人間とコンピュータのゲームを通じて収集された。これにより、使用される言語が自然でタスク指向的であり、現実世界のインタラクションシナリオを反映することが保証された。ReferItの各表現には、そのフレーズが指すグラウンドトゥルース領域を示すセグメンテーションまたはバウンディングボックスアノテーションがペアになっている。
タスク定義
参照表現グラウンディングタスクでは、モデルに画像と参照表現（例：「テーブルの上の赤いカップ」）が与えられる。目標は、記述に一致する画像内の領域を出力することである。このタスクは標準的な物体検出とは異なる。なぜなら、表現は人間が認識可能な任意の物体や領域を記述できるため、事前定義された物体カテゴリのセットが存在しないからである。ReferItでのモデルの性能評価は、通常、予測領域とグラウンドトゥルースアノテーションの間の交差オーバーユニオン（IoU）を測定し、一般的な閾値としてIoUが0.5を超える場合を正しい位置特定とみなす。
データセット構築
ReferItの構築には2つの主要な要素が関与した。まず、ImageNetデータベースから画像のセットが収集され、日常的なシーンと物体の多様なセットが確保された。次に、参照表現はピクショナリー風のゲームを通じて生成され、一方のプレイヤーが物体を記述し、もう一方のプレイヤーがそれを特定する必要があった。このプロセスにより、自然で多様、時には曖昧なフレーズの収集が可能となった。画像はその後、セグメンテーションマスクでアノテーションされ、評価目的のためにバウンディングボックスに変換されたが、データセットの一部のバリアントはセグメンテーションタスク用にマスクアノテーションを保持している。
モデルアーキテクチャと手法
ReferItでの参照表現グラウンディングに対する現代のアプローチのほとんどは、深層学習モデル、特にArtificial intelligenceとMachine learningに基づくものを含む。標準的なパイプラインは、視覚とテキストの両方のモダリティをエンコードするNeural networkを採用する。典型的には、Residual Network (ResNet)などの事前学習済み畳み込みネットワークが画像特徴抽出に使用され、Transformer (architecture)またはリカレントネットワークがテキストをエンコードする。これらの表現は融合され、位置特定モジュールがバウンディングボックスまたはマスクを予測する。
多くのモデルは、まず物体検出器によって領域提案を生成し、次にクエリ表現とマッチングする2段階アプローチを利用する。あるいは、最近の改善では、融合特徴から座標を直接予測する完全微分可能なフレームワークを使用し、しばしばMulti-Head Attentionメカニズムを組み込む。2024年時点で、ReferItでの最先端の結果は、大規模な事前学習済み視覚言語トランスフォーマーを使用して報告されており、これらは膨大なデータ量とその後のデータセットでの微調整を活用している。
応用
ReferItは、言語を視覚世界にグラウンディングする必要があるモデルを評価するためのベンチマークを提供し、これは人間とロボットのインタラクション、インタラクティブな画像編集、拡張現実などのタスクに不可欠である。また、Computer visionと自然言語処理を組み合わせたシステム、統合マルチモーダルアシスタントを含む、のトレーニングソースとしても使用されている。このデータセットは、視覚的共参照解決や参照表現生成（モデルが特定の領域を記述する言語を生成する）などのフォローアップタスクを生み出した。
影響と限界
ReferItは研究コミュニティで広く採用され、類似のデータセットと並んで標準的なベンチマークの1つとなっている。その主な限界には、現代の大規模視覚データセットと比較して画像数が比較的少ないこと、および自然シーンへのバイアスがあり、非常に専門的または産業的な画像領域には一般化しない可能性があることが含まれる。しかし、その現実性と自然言語構造は、グラウンディングアルゴリズムの開発を引き続き推進している。また、表現が任意に複雑になり得るため、語彙外および一般化の評価の基盤でもある。
関連リソース
グラウンディング表現の分野はマルチモーダル学習のサブフィールドに成長し、ReferItの原理はより包括的なデータセットとベンチマークに組み込まれている。これらには現在、ビデオグラウンディングデータセットや、言語を画像内の物体と時間的イベントの両方に結び付ける複合タスクが含まれる。人間のフィードバックからの強化学習も、Reinforcement Learning from AI Feedback (RLAIF)で説明されているように、グラウンディング精度を向上させるためにこれらの設定で探求されている。視覚と言語の融合の核となる概念は、Large language modelのEncoder-Decoder ArchitectureやCross-Attentionメカニズムなどの新しいアーキテクチャの中心でもある。