VQA v2は、視覚的質問応答（VQA）のための大規模データセットであり、モデルが画像に関する自然言語の質問に回答するタスクです。これは2017年に元のVQAデータセットの後継として導入され、その前身を悩ませていた言語バイアスの問題を軽減するように設計されました。このデータセットには、20万以上の画像に関する110万以上の質問が含まれており、各質問には異なる回答を持つ補完的な画像がペアになっており、モデルが言語的な事前知識ではなく視覚情報に依存することを強制します。
VQA v2の作成は、多くのモデルが画像を真に理解せずに質問の統計的規則性を利用してVQA v1で良好な性能を達成したという観察によって動機付けられました。例えば、モデルは画像の内容に関係なく、ほとんどの「〜はありますか？」という質問に「はい」と回答するかもしれません。これに対処するため、VQA v2データセットは補完的な画像と質問のペアを収集して構築されました。各質問について、同じ質問に対する回答が2つの画像間で異なるように追加の画像が選択されました。このバランスの取れた設計は、視覚的およびテキスト的推論の両方を統合するモデルの開発を促進します。
このデータセットは、Machine learningおよびDeep learningの分野で広くベンチマークとして使用されており、特にNeural networkアーキテクチャと注意メカニズムの評価に使用されます。これは、モデルが視覚的特徴と言語表現を整列させる必要があるマルチモーダル学習の研究を進める上で重要な役割を果たしてきました。Transformer (architecture)アーキテクチャやLarge language modelに基づくものを含む多くの最先端システムがVQA v2で評価され、しばしば精度が主要な指標として報告されています。
データセット構造
VQA v2は、複数のオブジェクトと相互作用を含む複雑なシーンを含むMicrosoft COCOデータセットから取得された画像で構成されています。各画像には複数の質問が関連付けられており、各質問には人間のアノテーターから収集された10の正解回答があります。質問はオープンエンドであり、オブジェクトの存在、色、数、空間的関係などのカテゴリをカバーしています。データセットはトレーニング、検証、テストセットに分割され、テストセットは評価目的でtest-devとtest-standardのサブセットにさらに分割されます。
VQA v2の主な革新は、そのバランスの取れたペアリングです。各質問について、データセット内に回答が異なる少なくとも1つの他の画像が存在します。これにより、モデルが質問と回答のパターンを単に記憶することで高い精度を達成できないことが保証されます。データセットには約110万の質問が含まれ、トレーニングセットには約25万の画像、検証セットには2万5千、テストセットには2万5千の画像があります。
評価指標
精度はVQA v2の主要な指標です。各質問について、モデルの予測回答は10の人間提供の回答と比較されます。単一の質問の精度は、予測と一致する人間の回答の数を3で割ったものの最小値として計算され、1で上限が設定されます。このスコアリング方式は、複数のアノテーターによって同意された回答に報酬を与え、モデルが常識的な応答を生成することを奨励します。
全体の精度に加えて、結果は「はい/いいえ」、「数」、「その他」（オープンエンド）などの質問タイプ別に報告されることがよくあります。この内訳は、モデルの特定の強みと弱みを特定するのに役立ちます。例えば、モデルははい/いいえの質問に優れているかもしれませんが、数えたり空間的関係について推論したりすることには苦労するかもしれません。
研究への影響
VQA v2は、Computer visionおよびNatural language processingコミュニティで標準的なベンチマークとなっていますが、提供されたリンクリストにはそれらのスラッグは含まれていません。これは、注意メカニズム、Residual Network (ResNet)、Multi-Head Attention層を採用するものを含む多数のDeep learningモデルの開発を推進してきました。このデータセットは、マルチモーダルタスクに合わせたData Augmentation技術とLoss Functionsの研究にも使用されています。
VQA v2のバランスの取れた設計は、バイアスを減らすことを目的としたVisual GenomeやGQAデータセットなどのその後のデータセット作成に影響を与えました。研究者はVQA v2を使用して、構成的推論や視覚的グラウンディングなどの分野でのモデル能力を調査し、現在のArtificial intelligenceシステムの限界についての洞察につながっています。
限界と批判
その改善にもかかわらず、VQA v2は依然としていくつかのバイアスを示しています。例えば、特定の質問はデータセット全体で支配的な回答を持つ場合があり、モデルはこれらの事前知識を活用できます。さらに、データセットは主にCOCOの静的画像に焦点を当てており、現実世界の視覚的シナリオの多様性を捉えていない可能性があります。一部の批評家は、質問のオープンエンドな性質が曖昧さにつながり、評価指標が意味的に同等な回答（例えば、「車」と「自動車」）を考慮していないと主張しています。
さらに、このデータセットは深い推論を必要としないことで批判されています。多くの質問は、複雑な推論なしにオブジェクトや属性を認識することで回答できます。これにより、言語バイアスをより明示的に露出させるためにデータを再分割するVQA-CP（変化する事前知識の下でのVQA）など、より挑戦的なベンチマークの開発につながりました。
結論
VQA v2は、マルチモーダルAI研究における基礎的なリソースであり続けています。そのバランスの取れた設計はデータセット構築の新しい標準を設定し、視覚情報とテキスト情報を真に統合するモデルの開発を奨励しました。新しいベンチマークが登場していますが、VQA v2はモデルの評価と比較に引き続き使用されており、その影響はその後のデータセットとタスクの設計に明らかです。