OK-VQA（Outside Knowledge Visual Question Answering）は、視覚質問応答（VQA）システムを評価するためのベンチマークデータセットである。画像のみから回答可能な質問に焦点を当てた初期のVQAデータセットとは異なり、OK-VQAは、モデルが物体、シーン、日常的な概念に関する外部知識を取り入れて正しい回答を生成することを特に要求する。このデータセットは、2019年にジョージア工科大学の研究者（Kenneth Marino、Mohammad Rastegari、Ali Farhadi、Roozbeh Mottaghiを含む）によって導入され、以来、知識拡張型視覚言語モデルを研究するための標準的なテストベッドとなっている。
このベンチマークは、14,031の質問と14,031の画像で構成され、各画像には正確に1つの質問が対応している。質問は曖昧さを避けるように設計されており、視覚的に存在しない外部知識を必要とする。例えば、画像に部分的に隠れた生物が写っている場合に「これは何の動物ですか？」と尋ねたり、見慣れない物体に対して「この道具の目的は何ですか？」と尋ねたりする。データセットは、食品、動物、乗り物、スポーツ、家庭用品など、幅広い知識領域をカバーしており、多様性を確保し、モデルに現実世界の文脈について推論することを課している。
構築とアノテーション
OK-VQAは、Amazon Mechanical Turkのワーカーからクラウドソーシングで質問を収集して構築された。アノテーションプロセスでは、ワーカーに画像を表示し、画像だけを見て回答できないが、常識や事実知識を必要とする質問を生成するよう依頼した。品質を確保するため、各質問は複数のアノテーターによって検証され、アノテーター間の一致度が高い質問のみが採用された。最終的なデータセットは、トレーニングセット（9,009質問）、検証セット（2,016質問）、テストセット（3,006質問）に分割された。テストセットは、オンラインサーバーを通じた公式評価に使用され、精度が主要な指標となる。
評価と指標
OK-VQAの標準的な評価指標は完全一致精度であり、モデルの予測回答が正解の1つと完全に一致する場合に正解とみなされる。各質問には、異なるアノテーターによって提供された10個の正解があり、予測がそのいずれかに一致すれば正解としてスコアリングされる。このアプローチは、人間が回答を表現する際のばらつきを考慮している。モデルは通常テストセットで評価されるが、研究者は開発やハイパーパラメータ調整に検証セットを使用することが多い。
課題と限界
OK-VQAは、AIシステムにいくつかの課題を提起する。第一に、視覚情報と広範な世界知識を統合する必要があり、主に画像とテキストのペアで訓練されたモデルにとっては困難である。第二に、多くの質問は曖昧であるか、文化的慣習や物理的特性の理解など、暗黙の文脈についての推論を必要とする。第三に、このデータセットは、設計意図にもかかわらず画像のみから回答可能な質問が含まれていることや、他のVQAベンチマークと比較してサイズが比較的小さいことで批判されている。さらに、完全一致指標は厳格であり、意味的に正しいが表現が異なる回答を penalize する可能性がある。
影響と利用
OK-VQAは、Machine learningおよびコンピュータビジョンの分野で広く使用されるベンチマークとなっている。研究者は、視覚エンコーダとLarge language modelを組み合わせたモデルを評価するために採用しており、しばしばCross-Attentionなどの技術を使用して画像とテキストの表現を融合している。Transformer (architecture)アーキテクチャに基づくものを含む多くの最先端の視覚言語モデルは、知識ベースの推論能力の主要な指標としてOK-VQAでの性能を報告している。このデータセットはまた、外部知識ベースの統合やData Augmentation技術を使用した汎化改善など、知識検索と統合のための専門的な手法の開発を促進してきた。
関連ベンチマーク
OK-VQAは、より広範なVQAベンチマーク群の一部である。2015年に導入された元のVQAデータセットは、画像コンテンツから回答可能な質問に焦点を当てている。他の関連ベンチマークには、関係性と属性を重視するVisual Genomeや、構成推論をテストするGQAが含まれる。A-OKVQAのような最近のベンチマークは、追加の回答オプションと根拠アノテーションを提供することでOK-VQAを拡張している。OK-VQAは、外部知識への明示的な焦点において独自性を保ち、AIにおける知覚と推論の交差点を研究するためのユニークなリソースとなっている。