視覚質問応答（VQA）は、システムが画像に関する自然言語の質問に答えることを要求する人工知能タスクである。これはコンピュータビジョンと自然言語処理の交差点に位置し、モデルが画像内の物体、シーン、活動を認識するだけでなく、質問の意味を理解し、視覚的コンテンツについて推論して正しい答えを生成することが求められる。VQAは、単純な画像分類やキャプション生成を超えた、より高次の視覚的理解と推論のベンチマークと見なされている。
このタスクは通常、入力画像と自由形式のテキストによる質問を含み、期待される出力は簡潔な回答であり、多くの場合、単一の単語または短いフレーズである。VQAシステムは、物体の存在、色、数、空間的関係、さらには直接視覚的に確認できない常識的推論に関する質問を含む、幅広い質問タイプを処理しなければならない。この分野は2010年代半ばに大規模データセットの公開と深層学習技術の応用により大きな発展を遂げ、それ以来、マルチモーダルAIモデルの標準的な評価手段となっている。
データセットとベンチマーク
VQAデータセットは、2015年にバージニア工科大学とマイクロソフトの研究者によって初めて公開され、このタスクの事実上の標準ベンチマークとなった。元のVQAデータセットには、Microsoft COCOデータセットからの20万以上の画像と60万以上の質問が含まれており、各質問には人間のアノテーターによって収集された複数の正解がペアリングされている。このデータセットは、物体認識、計数、空間的推論を含むさまざまなスキルを必要とするように設計された。VQA 2.0などの後続バージョンでは、画像を見なくても質問パターンだけで答えを推測できる言語バイアスを減らすために、回答分布のバランスが調整された。その他の注目すべきベンチマークには、物体、属性、関係の密なアノテーションを提供するVisual Genomeや、単純な3D形状の画像を生成し、多段階の論理を必要とする質問を行うことで合成的推論をテストするために設計された合成データセットCLEVRがある。
アプローチとアーキテクチャ
初期のVQAシステムは、画像特徴抽出のための畳み込みニューラルネットワーク（CNN）と、質問エンコーディングのためのリカレントニューラルネットワーク（RNN）または長短期記憶（LSTM）ネットワークの組み合わせを使用していた。これらの特徴は、多くの場合、要素ごとの乗算や連結によって融合され、分類器を通過して答えを予測した。大きな進展は、モデルが質問に基づいて画像の関連領域に焦点を当てることを可能にするアテンションメカニズムの導入によってもたらされた。2017年に導入されたTransformerアーキテクチャは、視覚的およびテキスト的トークンの統一的処理を可能にすることで、この分野にさらなる革命をもたらした。現代のVQAモデルは、視覚言語事前学習に基づくものなど、画像とテキストのペアで事前学習された大規模Transformerモデルを使用し、その後VQAデータセットで微調整される。これらのモデルは、大規模言語モデルと統合されることが多く、自由形式の回答を生成し、複雑な推論を実行でき、場合によってはVQAデータでの明示的な微調整なしでも機能する。
課題と限界
大きな進歩にもかかわらず、VQAは依然として困難なタスクである。主要な問題の1つは言語バイアスである。モデルは画像を真に理解することなく、トレーニングデータ内の統計的規則性を利用して質問に答えることができる。例えば、モデルは「いくつ」で始まる質問に対して、データセット内で最も一般的な回答であるため「2」と答えるかもしれない。VQA 2.0データセットは、各質問に異なる回答を持つ相補的な画像をペアリングすることでこれを軽減するために作成された。もう1つの課題は合成的汎化であり、モデルは既知の概念の新しい組み合わせを必要とする質問に苦労する。さらに、VQAシステムは、「なぜその人は微笑んでいるのか？」や「次に何が起こるのか？」などの外部知識や常識的推論を必要とする質問ではしばしば失敗する。敵対的例や分布外画像に対する堅牢性も懸念事項であり、モデルはわずかな摂動によって簡単に誤解される可能性がある。
応用
VQAはさまざまな分野で実用的な応用がある。アクセシビリティの分野では、視覚障害者が標識を読んだり物体を識別したりするなど、周囲の環境について質問することで支援することができる。人間とコンピュータのインタラクションにおいて、VQAはチャットや検索システムで画像について質問できる、より自然なインターフェースを可能にする。医療分野では、VQAは医療画像についての質問に答えることで放射線科医を支援できるが、これには専門的なトレーニングと慎重な検証が必要である。電子商取引では、VQAはビジュアル検索や製品推薦システムを強化できる。この技術は自動運転にも使用されており、システムは「信号は赤か？」や「横断歩行者がいるか？」などの質問に答えるために視覚シーンを理解し推論する必要がある。
最近の動向
OpenAI、Google DeepMindなどの研究機関によって開発された大規模マルチモーダルモデルの台頭は、VQAの能力を大幅に進歩させた。これらのモデルは、Transformerアーキテクチャに基づいて構築され、大規模な画像とテキストのペアでトレーニングされることが多く、高い精度で質問に答え、さらには説明を提供することもできる。例えば、GPT-4VやGeminiなどのモデルは、標準的なVQAベンチマークで強力なパフォーマンスを実証しており、特定のタスクでは人間レベルの精度に近づくこともある。しかし、これらのモデルには限界がないわけではなく、バイアスや幻覚を示す可能性が依然としてある。この分野は進化を続けており、研究は推論能力の向上、バイアスの低減、モデルの解釈可能性と堅牢性の向上に焦点を当てている。2025年現在、VQAは活発な研究分野であり、視覚的理解の限界を押し広げるために新しいベンチマークと課題が導入され続けている。