Visual Question Answering（VQA）は、Artificial intelligenceとMachine learningにおける研究分野であり、コンピュータビジョンと自然言語処理を組み合わせたものです。このタスクでは、画像とその画像に関する自由形式のオープンエンドな質問が提供され、システムは自然言語で正しい回答を生成する必要があります。VQAは、物体認識やシーン理解だけでなく、推論、常識的知識、言語を視覚コンテンツに接地する能力も必要とするため、困難な問題と見なされています。これは、特にDeep learningアーキテクチャに基づくマルチモーダルAIシステムの能力を評価するための中核的なベンチマークとして機能します。
VQAタスクは、2015年にバージニア工科大学、Microsoft (AI)、トロント大学の研究者によってVQAデータセットが公開されたことで正式に確立されました。元のデータセットであるVQA v1は、Microsoft COCOデータセットと抽象シーンからの20万枚以上の画像を含み、76万以上の質問と1000万の回答がペアになっていました。各画像には3つの質問があり、各質問には人間のアノテーターによる10の正解回答がありました。このデータセットは、単純な数え上げや色認識から、空間関係や活動に関するより複雑な推論まで、さまざまなスキルを必要とするように設計されました。後続のVQA v2は、2017年に公開され、各質問タイプの回答をバランスさせることで言語バイアスに対処し、モデルが事前分布だけに依存できないようにしました。
アーキテクチャとアプローチ
初期のVQAシステムは、画像特徴抽出に畳み込みニューラルネットワーク（CNN）、質問エンコーディングにリカレントニューラルネットワーク（RNN）または長短期記憶（LSTM）ネットワークを組み合わせて使用しました。これらの特徴は、しばしば要素ごとの乗算や連結によって融合され、固定語彙から回答を予測する分類器に渡されました。注目すべき初期モデルとして、データセット作成者による「VQAベースライン」があり、これはbag-of-words質問表現とVGGNet画像エンコーダーを使用しました。
Transformer (architecture)アーキテクチャの登場により、VQAモデルは注意ベースのメカニズムへと移行しました。Multi-Head Attentionメカニズムにより、モデルは質問の単語に応じて関連する画像領域に動的に焦点を当てることができました。Encoder-Decoder Architectureフレームワークが標準となり、画像と質問が共同でエンコードされ、回答が自己回帰的に生成されました。最近では、Large language modelバックボーンに基づく大規模な事前学習モデルがVQA用に微調整され、画像テキストペアのクロスモーダル事前学習を活用しています。これらのモデルは、視覚トークンとテキストトークンを整列させるためにCross-Attention層を使用することがよくあります。
主要なデータセットとベンチマーク
元のVQA v1およびv2に加えて、いくつかの他のデータセットがタスクの範囲を拡大しました。2016年に公開されたVisual Genomeデータセットは、オブジェクト、属性、関係の密なアノテーションを提供し、より構成的な質問応答を可能にしました。2019年に導入されたGQAデータセットは、推論と構成的な質問に焦点を当て、バイアスを減らすためのバランスの取れた分割を備えていました。2017年のCLEVRデータセットは、合成3D形状を使用して系統的推論をテストし、多段階の推論を必要としました。実世界のアプリケーションでは、2018年のVizWizデータセットが視覚障害者からの質問を収集し、より実用的でありながらノイズの多い設定を提示しました。2019年に公開されたOK-VQAデータセットは、画像コンテンツを超えた外部知識を必要とする質問に重点を置きました。
評価指標
VQAモデルは通常、精度を使用して評価され、予測された回答が10の人間の正解回答のうち少なくとも3つと一致する場合に正しいと見なされます。この指標はVQA精度として知られ、オープンエンドな回答の主観性を処理するように設計されています。多肢選択バリアントでは、標準的な精度が使用されます。最近のベンチマークでは、モデルの注意が関連する画像領域と一致するかどうかなど、一貫性と接地の指標も報告されます。VQA v2リーダーボードは標準的な参照となっていますが、多くの現代モデルは一般化を示すためにさまざまなデータセットで結果を報告しています。
課題と限界
VQAにおける主要な課題は言語バイアスであり、モデルが画像を真に理解するのではなく、トレーニングデータの統計的規則性を利用します。例えば、モデルはオブジェクトを見ずに任意の数え上げ質問に対して「2」と答える可能性があります。VQA v2データセットは、各質問タイプがバランスの取れた回答セットを持つことを保証することで、これを軽減するために特別に設計されました。もう一つの課題は構成的汎化であり、モデルは概念を未見の方法で組み合わせた質問に失敗します。外部知識の統合も困難であり、多くの質問は画像に存在しない常識的推論や事実情報を必要とします。最後に、敵対的摂動や分布シフトに対する堅牢性は未解決の問題であり、モデルは画像や質問の小さな変更によって簡単に騙される可能性があります。
アプリケーションと将来の方向性
VQAは、VizWizプロジェクトに見られるように、視覚障害者が周囲を理解するのを助ける支援技術に実用的な応用があります。また、人間とロボットのインタラクション、医用画像（例えば、X線に関する質問への回答）、コンテンツベースの画像検索にも使用されます。将来の方向性には、Neural networkアーキテクチャを通じた推論能力の向上（シンボリックコンポーネントの組み込み）、より詳細でオープンエンドな回答のためのGenerative AIモデルの統合、意味的等価性を捉えるより良い評価指標の開発が含まれます。2020年代半ばの時点で、最先端のモデルはウェブ規模のデータでの大規模な事前学習を活用することが多いですが、それでも細かい空間推論や稀な物体認識には苦労しています。