Visual Commonsense Reasoning（VCR）は、人工知能における研究用ベンチマークおよびタスクであり、画像を理解し、常識的知識を用いてそれらに関する質問に回答するシステムの能力を評価するものです。2019年に導入されたVCRは、モデルがシーン内の物体や動作を識別するだけでなく、動機、心的状態、および起こり得る将来の出来事を推論することを要求します。これは、基本的な視覚認識を超えた高次認知をテストするように設計されており、Computer visionとNatural language processingの間のギャップを埋めるものです。
VCRデータセットは、110,000の映画シーンから派生した290,000以上の多肢選択式質問で構成され、各質問には質問、4つの回答オプション、および4つの根拠オプションがペアになっています。モデルは正しい回答を選択し、次に正しい根拠を選択してその選択を正当化する必要があります。この2段階構造はシステムに説明を生成させることを強制し、従来の視覚的質問応答（VQA）よりもベンチマークを困難にしています。タスクは、クエリ回答（QA）と回答根拠（AR）の2つのサブタスクに分割され、全体的なパフォーマンスは両方のサブタスクの精度の積であるVCRスコアで測定されます。
データセットとアノテーション
VCRデータセットは、ノースカロライナ大学チャペルヒル校とアレン人工知能研究所の研究者によって作成されました。アノテーションはAmazon Mechanical Turkを使用してクラウドソーシングされ、ワーカーは「なぜその人は走っているのか？」や「次に何が起こるか？」など、常識的推論を必要とする質問を書くように求められました。各質問は映画の特定の画像に基づいており、社会的相互作用、感情表現、物理的因果関係などの豊富な文脈的手がかりを提供します。データセットには110,000のユニークな映画クリップが含まれ、各クリップには平均2.6の質問があり、物体認識のみに偏らない多様なシナリオセットが生じています。
タスクの定式化
正式には、VCRは多肢選択タスクとして定義されます。画像I、質問Q、および4つの回答候補のセットA = {a1, a2, a3, a4}が与えられた場合、モデルは正しい回答aを予測する必要があります。次に、同じ画像、質問、および正しい回答が与えられた場合、モデルは4つの根拠候補のセットから正しい根拠Rを選択する必要があります。最終的なVCRスコアは、正しい回答と正しい根拠の両方を選択する精度、すなわち結合確率P(a | I, Q) P(r | I, Q, a*)として計算されます。この定式化は、モデルが単に回答を推測するのではなく、一貫した説明を生成することを奨励します。
モデルアプローチ
初期のVCRシステムは、画像特徴抽出のための畳み込みニューラルネットワーク（CNN）と、テキストのためのリカレントニューラルネットワーク（RNN）またはTransformer (architecture)ベースのエンコーダを組み合わせたVisual Question Answeringアーキテクチャに依存していました。一般的なベースラインは、Multi-Head Attentionメカニズムを使用して視覚的およびテキスト的表現を融合するVisual Commonsense Reasoning with Transformer（VCRT）モデルでした。後に、BERTやGPTバリアントの微調整などのLarge language modelベースのアプローチが、マルチモーダル入力を処理するために適応されました。これらのモデルはしばしば2段階パイプラインを採用します：最初に画像と質問を共同でエンコードし、次に分類ヘッドを使用して回答と根拠を選択します。より最近の研究では、Cross-Attention層を用いたエンドツーエンドトレーニングが探求され、モデルが質問について推論しながら関連する画像領域に注意を向けることを可能にしています。
課題と限界
進歩にもかかわらず、VCRは困難なベンチマークのままです。モデルは、キャラクターの意図や感情状態を推論するなど、深い社会的推論を必要とする質問にしばしば苦労します。データセットにはバイアスも含まれており、一部の質問は視覚的証拠ではなくテキストの統計的規則性によって回答できる場合があります。例えば、モデルはシーンを真に理解せずに特定の動詞を典型的な物体と関連付けることを学習するかもしれません。さらに、根拠選択タスクは、回答の言い換えに過ぎないもっともらしい説明を生成することをモデルに要求するため、特に困難です。2025年現在、VCRで最高のパフォーマンスを発揮するモデルは、QAサブタスクで約80%の精度、ARサブタスクで75%の精度を達成していますが、結合VCRスコアは60%未満のままであり、改善の余地が大きいことを示しています。
影響と関連研究
VCRは、Visual Commonsense Reasoning in the Wild（VCR-W）などのその後のベンチマークに影響を与え、AIシステムの常識的推論能力を評価するためのテストベッドとして使用されてきました。また、根拠選択コンポーネントがモデルに解釈可能な正当化を提供することを強制するため、Explainable AIの研究を促進しました。データセットは公開されており、研究コミュニティで広く採用され、2025年時点で1,000以上の引用があります。VCRは、視覚的含意やVisual Question Answeringなどの他の視覚的推論タスクとしばしば比較されますが、説明への重点がそれを際立たせています。このベンチマークはアレン人工知能研究所によって維持され、学術競技会やワークショップで定期的に使用されています。
将来の方向性
VCRに関する将来の研究には、大規模な画像テキストペアで事前学習された視覚言語モデルなど、より洗練されたNeural networkアーキテクチャの統合が含まれる可能性があります。また、モデルが固定セットから選択する代わりに自由形式の根拠を生成しなければならないGenerative AIシステムの推論能力を評価するためにVCRを使用することへの関心もあります。さらに、研究者は敵対的例や反事実的質問を導入することによるデータセットバイアスの削減方法を探求しています。Artificial intelligenceが進歩し続けるにつれて、VCRは人間レベルの視覚的常識推論に向けた進歩を測定するための重要なベンチマークとして機能します。