Visual7Wは、視覚質問応答（VQA）と視覚グラウンディングのためのベンチマークデータセットであり、2016年にスタンフォード大学の研究者らによって初めて発表された。Microsoft COCOから収集された47,300枚の実世界画像と、327,000以上の質問と回答のペアで構成され、各ペアには回答を裏付ける視覚的証拠を特定する1つ以上のバウンディングボックスが付随している。このデータセットは、グラウンディングに重点を置いていることで知られており、モデルは質問に答えるだけでなく、関連する画像領域を特定することも求められる。これは、解釈可能なAIシステムの中核となる能力である。
Visual7Wという名前は、カバーする7種類の質問タイプに由来する。すなわち、what（何）、where（どこ）、when（いつ）、who（誰）、why（なぜ）、how（どのように）に加え、オブジェクト選択タスクに対応するために7番目のカテゴリとして'which'（どれ）が追加されている。初期のVQAデータセットが主にオブジェクト認識に焦点を当てていたのに対し、Visual7Wはシーン内の因果関係や手続き的関係についての推論を要求する'why'および'how'の質問をかなりの割合で含んでいる。この設計により、知覚と高次の認知を橋渡しするため、深層学習モデルにとって厳格なテストとなっている。
データセット構造
Visual7Wは、多肢選択QAと自由記述QAの2つの主要なコンポーネントで構成されている。多肢選択サブセットは各質問に4つの候補回答を提供し、自由記述サブセットは自由形式の生成を必要とする。各質問にはグラウンディングボックスが注釈として付与されており、これは回答を含む画像領域の周りのバウンディングボックスである。データセットはトレーニング、検証、テストセットに分割され、テストセットは公開部分と公式評価に使用される非公開部分に分かれている。
すべての画像はMicrosoft COCOデータセットから取得されており、日常的なオブジェクトや活動を含む多様なシーンが保証されている。注釈はAmazon Mechanical Turkを通じて収集され、曖昧または不正確な質問を除外するための品質管理措置が講じられている。平均質問長は約8語で、語彙はおよそ4,000語をカバーしており、ニューラルネットワークモデルにとってコンパクトでありながら挑戦的な言語空間となっている。
タスクの定式化
Visual7Wの主要なタスクは視覚グラウンディングであり、モデルは画像と質問を受け取り、回答とバウンディングボックスの両方を出力しなければならない。これは結合予測問題として定式化される。モデルは質問に答える領域を特定し、その領域に基づいて回答を分類または生成する必要がある。評価指標には回答精度とグラウンディング精度が含まれ、グラウンディングは予測ボックスと正解ボックス間のIntersection over Union（IoU）で測定される。
二次的なタスクは、グラウンディングなしの視覚質問応答であり、これにより以前のデータセットとの比較が可能になる。しかし、グラウンディングの要件により、Visual7Wは注意メカニズムの研究に特に適しており、モデルは画像の関連部分に焦点を当てることを学習しなければならない。これは、マルチヘッドアテンションやクロスアテンション層を使用する後続のアーキテクチャに影響を与えており、これらは現在ではトランスフォーマーベースの視覚言語モデルで標準となっている。
ベンチマークの重要性
Visual7Wは、単純なパターンマッチングを超えた常識推論を必要とする'why'および'how'の質問を強調した最初のVQAベンチマークの1つであった。例えば、「なぜその人は傘をさしているのか？」という質問は、天候の文脈と因果推論の理解を要求する。これにより、この分野はより洗練された大規模言語モデルや視覚言語事前学習アプローチへと押し進められた。
このデータセットは、初期の残差ネットワークとリカレントネットワークの組み合わせから、現代の生成AIシステムまで、数多くのモデルの評価に使用されてきた。また、Visual GenomeやGQAなどのより大規模なベンチマークの先駆けとしても機能し、関係推論の範囲を拡大した。スタンフォードAIラボやバークレーAIリサーチなどの機関の研究者は、Visual7Wを使用して解釈可能性と注意可視化技術をテストしてきた。
限界と批判
その貢献にもかかわらず、Visual7Wには既知の限界がある。グラウンディングボックスはしばしば粗く、参照される特定のオブジェクトよりも広い領域をカバーしており、グラウンディング精度を過大評価する可能性がある。また、このデータセットは言語バイアスに悩まされており、特定の回答が質問タイプと相関するため、モデルは真の視覚的理解なしに近道を利用できる。さらに、'why'および'how'の質問は'what'や'where'と比較して比較的稀であり、推論評価の深さが制限されている。
批評家は、多肢選択形式が統計的規則性によって攻略される可能性があり、自由記述の回答が完全一致の文字列マッチングで評価されるため、意味的に正しいが言い換えられた応答がペナルティを受けると指摘している。これらの問題は、RLHFスタイルの人間のフィードバックをスコアリングに使用するなど、後のデータセットでのより堅牢な評価プロトコルの開発を動機付けた。
遺産と影響
Visual7Wは、視覚グラウンディングと質問応答の研究、特に教育目的や注意ベースモデルのベンチマーキングにおいて、依然として貴重なリソースである。そのグラウンディング注釈は、視覚常識推論や参照表現理解などのタスクに転用されている。このデータセットの解釈可能性への強調は、機械学習における説明可能なAIへの広範な傾向と一致しており、マルチモーダル学習やデータ拡張戦略に関する研究で引き続き引用されている。
2020年代半ばの時点で、Visual7Wはより大規模で複雑なデータセットの出現により一次ベンチマークとして使用されることは少なくなっているが、基礎的なVQA能力を評価するための標準的な参照として残っている。その設計原則は、グラウンディングが安全な意思決定に不可欠な自動運転やロボティクス向けデータセットの作成に影響を与えている。