KVQA（知識を活用した視覚質問応答）は、人工知能と機械学習の一分野であり、コンピュータビジョン、自然言語処理、知識表現を組み合わせたものである。画像の視覚的内容のみに依存する従来の視覚質問応答（VQA）とは異なり、KVQAシステムは、知識グラフ、百科事典データベース、構造化された事実などの外部知識源にもアクセスし、それらを推論して正確な回答を生成する必要がある。このタスクでは、モデルが画像内の物体、シーン、関係性を認識するだけでなく、関連する世界知識を検索し、画像に直接映っていないエンティティ、属性、事実を参照する質問に答えるために多段階の推論を実行することが求められる。
KVQAの発展は、深層学習の進歩と大規模マルチモーダルモデルの出現に密接に関連している。2010年代半ばに導入された初期のVQAデータセットは、画像のみから回答可能な質問に焦点を当てていた。しかし、研究者たちは、「この建物を建てたのは誰か」や「この都市の人口は何人か」といった多くの自然な質問が外部知識を必要とすることをすぐに認識した。この認識により、KVQA固有のベンチマークの作成と、ニューラルアーキテクチャへの知識ベースの統合が進み、多くの場合、視覚的特徴とテキスト知識表現の両方に注意を向けることができるトランスフォーマーベースのモデルが使用されるようになった。
歴史的発展
KVQAの概念は、2015年にバージニア工科大学とマイクロソフトの研究者によってVQAデータセットが公開された後に勢いを増した、より広範なVQA研究課題から生まれた。初期のVQAタスクは純粋に視覚的なものであったが、2016年に導入されたFVQA（事実ベース視覚質問応答）データセットなどのその後の研究では、外部事実が明示的に必要とされた。FVQAはトリプル（主語、関係、目的語）の知識ベースを提供し、モデルに質問に答えるための関連事実の検索を課した。これに続いて、KVQA（同名のデータセットで、2018年にインド工科大学デリー校と共同研究者によって導入）などの他のデータセットが登場し、有名人や場所に関する質問に焦点を当て、WikipediaやFreebaseなどのソースからの知識を必要とした。
これらの初期のデータセットは構造化された知識ベースを使用し、多くの場合、系列変換モデルや注意機構に依存して、画像特徴と検索された知識を組み合わせていた。2017年のトランスフォーマーアーキテクチャ、特にマルチヘッド注意機構の導入により、視覚情報とテキスト情報のより高度な融合が可能になった。2010年代後半までに、画像とテキストのペアで事前学習されたLXMERTやVisualBERTなどのモデルが知識モジュールを組み込み始めたが、トレーニングデータに存在しないオープンドメイン知識には依然として苦労していた。
主要な課題
KVQAは、標準的なVQAと比較していくつかの独自の課題を提起する。第一に、システムは外部知識がいつ必要かを判断しなければならない。多くの質問は画像のみから回答可能であり、不要な知識検索はノイズを導入する可能性がある。第二に、検索プロセスは効率的かつ正確でなければならず、多くの場合、システムは大規模な知識ベースをリアルタイムで照会する必要がある。第三に、視覚的証拠と知識ベースの証拠の統合には高度な推論が必要であり、回答は複数の事実の組み合わせや、見たものと知っているものの間の矛盾の解決に依存する可能性がある。
もう一つの重要な課題は、データ拡張とアノテーションのコストである。KVQAデータセットの作成には、画像に回答が含まれない質問をペアリングする必要があり、手動のアノテーションと知識ベースのキュレーションが求められる。これにより、知識グラフから質問を生成する半自動パイプラインの使用が進んだが、これらのパイプラインはしばしば単純または不自然な質問を生成する。その結果、多くのKVQAモデルは有名なランドマークや有名人などの限られたドメインで評価され、オープンドメインの質問でのパフォーマンスは限られたままである。
現代のアプローチ
大規模言語モデルと、OpenAIのGPT-4VやGoogle DeepMindのGeminiなどのマルチモーダルモデルの台頭により、KVQAはパラダイムシフトを経験している。これらのモデルは、多くの場合、数十億のパラメータを持つトランスフォーマーアーキテクチャに基づいており、膨大なテキストと画像のコーパスで事前学習され、膨大な量の世界知識を暗黙的にエンコードしている。その結果、これらのモデルは、明示的な検索なしで、パラメータに埋め込まれた知識を活用して、知識ベースの視覚質問に回答できることが多い。このアプローチは「クローズドブック」KVQAと呼ばれることもあり、外部知識を必要とする2019年に導入されたOK-VQA（外部知識VQA）などのベンチマークで印象的な結果を示している。
しかし、クローズドブックモデルには、幻覚（もっともらしいが不正確な回答を生成すること）や、稀な事実や最近の事実を扱う際の困難などの限界がある。これに対処するため、ハイブリッドアプローチはパラメトリック知識と非パラメトリック検索を組み合わせ、交差注意などの技術を使用して検索された知識スニペットと視覚的特徴を融合する。例えば、REVEALやKAT（知識拡張トランスフォーマー）などのモデルは、検索器を使用して知識コーパスから関連するパッセージを取得し、それらをトランスフォーマーベースの生成器に供給する。これらのシステムは、回答を生成する際にビームサーチやトップpサンプリングを採用することが多い。
知識グラフ埋め込みの統合も探求されており、モデルはグラフ構造上で推論することを学習する。例えば、一部の研究では、グラフニューラルネットワークを使用して検索されたエンティティから情報を伝播させ、マルチホップ推論を可能にしている。これらの方法は、「この俳優が出演する映画の監督は誰か」など、複数の事実を組み合わせる必要がある質問に特に有用である。
評価とベンチマーク
KVQAの標準的なベンチマークには、FVQA、KVQA、OK-VQAが含まれる。FVQA（2016年）には約2,000の質問と50,000の事実からなる知識ベースが含まれている。KVQA（2018年）には、1,800人の有名人とランドマークに関する18,000以上の質問があり、回答はFreebaseから取得されている。OK-VQA（2019年）はより大規模で、外部知識を必要とする14,000以上の質問があるが、特定の知識ベースを提供していないため、より困難である。A-OKVQA（2022年）などの最近のベンチマークは、多肢選択式と自由回答式の質問を拡張し、画像キャプションと外部事実の知識ベースを含んでいる。
評価指標には通常、精度（完全一致または多肢選択の正解率）が含まれ、生成モデルではCIDErやBLEUなどの指標が使用される。しかし、これらの指標は推論の質を捉えきれないことが多く、モデルが実際に推論しているのか、単にパターンを記憶しているのかについての議論が続いている。一部の研究者は、構成質問やトレーニング分布にない知識を必要とする敵対的例など、特定の推論能力をテストする診断データセットを提案している。
応用と将来の方向性
KVQAには、支援技術（視覚障害者が環境を理解するのを支援）、教育（歴史的な画像や科学図に関する質問への回答）、電子商取引（画像に基づく製品情報の提供）などの分野での実用的な応用がある。医療分野では、KVQAは解剖学や疾患の知識を必要とするスキャンに関する質問に回答することで放射線科医を支援できる可能性があるが、これは依然として活発な研究分野である。
将来の方向性には、知識検索の信頼性の向上、生成モデルにおける幻覚の低減、現実世界の複雑さをよりよく反映するベンチマークの開発が含まれる。また、KVQAモデルをより解釈可能にし、ユーザーが回答の導出に使用された事実を確認できるようにすることへの関心もある。生成AIが進歩し続けるにつれて、KVQAはマルチモーダルアシスタントの標準的なコンポーネントとなり、世界知識を用いて幅広い視覚質問に回答できるようになる可能性が高い。