NLVR2（Natural Language Visual Reasoning, version 2）は、人工知能および機械学習の分野におけるベンチマークデータセットであり、モデルの視覚的推論能力を評価するために設計されている。このタスクでは、システムが2枚の画像と自然言語のキャプションを調べ、そのキャプションが画像のペアに対して真であるか偽であるかを判定する必要がある。前身であるNLVRが合成のコンピュータ生成シーンを使用していたのに対し、NLVR2はインターネットから収集された実世界の写真を使用しており、推論タスクは著しく複雑で、実世界の応用に近いものとなっている。
このデータセットは、2019年にスタンフォード大学とノースカロライナ大学チャペルヒル校の研究者によって、2017年に公開された元のNLVRベンチマークの後継として導入された。主な動機は、モデルが真の推論を行うのではなく、低レベルの視覚的ショートカットを利用できるようにする合成データの限界に対処することであった。NLVR2は、10万7000以上の人間が書いたキャプションで構成され、各キャプションは2つの異なる画像とペアになっている。キャプションは多様で、空間関係、数え上げ、比較、論理演算をカバーし、多くの場合、両方の画像を同時に理解する必要がある。
タスク定義と評価
NLVR2では、各例がモデルに画像のペア（左と右）とキャプションを提示する。モデルは、キャプションがペアを正確に記述している場合は「真」、そうでない場合は「偽」という二値の決定を出力しなければならない。例えば、キャプションが「左の画像には右の画像よりも多くの人が含まれている」と述べている場合、モデルは2つの画像を比較してこれを検証する必要がある。評価指標は、保持されたテストセットでの分類精度のみである。キャプションは人間によって書かれ、画像は自然な写真であるため、このタスクは堅牢な視覚認識、言語理解、およびクロスモーダル推論を要求する。
ベンチマークはトレーニングセット、開発セット、テストセットに分割され、テストセットは公式のリーダーボードランキングに使用される。注目すべき特徴は、テストセットに「難しい」例が含まれていることであり、これらは否定や複雑な空間前置詞を含むキャプションなど、特に困難になるように設計されている。これにより、モデルがパターンを記憶したり表面的な手がかりを使用したりして高いスコアを達成できないことが保証される。
他のベンチマークとの関係
NLVR2は、VQA（視覚質問応答）やCLEVRを含む、より広範な視覚的推論ベンチマークの一部である。しかし、単一の画像についての自由形式の質問に答えることを要求するVQAとは異なり、2つの画像を比較する必要がある点で異なる。合成3Dシーンを使用するCLEVRと比較して、NLVR2の実写真の使用はより大きな変動性と曖昧さを導入し、一般化のより現実的なテストとなっている。このデータセットは、特にマルチモーダルタスクの標準となっているトランスフォーマーアーキテクチャに基づく深層学習モデルと併せて使用されることが多い。
NLVR2はまた、NLVR3や、キャプションが画像によって含意されるかどうかを判断することを目的とするより広範な「視覚的含意」タスクなど、その後のベンチマークにも影響を与えている。これは、視覚と言語を組み合わせたニューラルネットワークモデルを評価するための広く引用されるリソースであり続けており、視覚入力を組み込む大規模言語モデルの拡張に関する研究で頻繁に使用されている。
モデルの性能と課題
NLVRで高い精度を達成した初期のモデルは、しばしば合成画像の統計に依存していたが、これらのアプローチはNLVR2では失敗した。自然画像への移行は、モデルの能力における重大なギャップを露呈させた。2024年時点での最先端モデルは、テストセットで約80〜85%の精度を達成しており、改善の余地がかなり残っている。同じタスクでの人間の性能は95%以上と推定されており、現在のシステムが、暗黙の関係の理解や曖昧なキャプションの処理など、微妙な推論に依然として苦労していることを示している。
主な課題には、照明、視点、物体の外観の変動への対応、およびキャプション内の論理的矛盾の解決が含まれる。モデルは、物体を正確に数える必要がある場合や、キャプションが2つの画像間の物体の相対位置に依存する「上」や「間」などの空間用語を含む場合に、しばしば失敗する。研究者は、視覚的特徴とテキスト表現をより良く整列させるために、クロスアテンションメカニズムやマルチヘッドアテンション層を含むさまざまなアーキテクチャ革新を探求してきた。
応用と影響
NLVR2によってテストされるスキルは、画像説明を生成する生成AIシステム、視覚障害者向けの支援技術、視覚シーンについて推論する必要がある自律システムなどの応用に直接関連している。このベンチマークは、Google DeepMind、OpenAI、Anthropicなどの主要な研究ラボ、およびMIT CSAILやBerkeley AI Researchなどの学術機関に関連するモデルを評価するために使用されてきた。
NLVR2はまた、対照学習やカリキュラム学習などの新しいトレーニング技術の開発を促進しており、モデルは難しい例にさらされる前に簡単な例でトレーニングされる。データセットの公開利用可能性により、マルチモーダルモデルを比較するための標準的なテストベッドとなり、VQAやVisual Genomeなどの他のベンチマークと並んで、より広範な評価スイートに含まれることが多い。
将来の方向性
2025年現在、視覚的推論の限界を押し広げる研究が続けられている。言語モデルが視覚エンコーダで拡張されるNLVR2と大規模言語モデルフレームワークの統合は、有望を示している。しかし、これらのモデルは、特にキャプションに珍しい単語や異常な物体の組み合わせが含まれる場合、依然として脆さを示している。将来の作業には、より多様な画像ソースを含むようにデータセットを拡張すること、時間的またはビデオベースの推論を組み込むこと、および二値精度を超えて推論ステップの品質を捉える指標を開発することが含まれる可能性がある。
このベンチマークは、視覚シーンの人間と機械の理解の間のギャップを浮き彫りにし、人工知能の進歩を測定するための重要なツールであり続けている。その設計原則は多くのその後のデータセットに影響を与え、マルチモーダル機械学習の分野における基礎的なリソースとしての役割を確固たるものにしている。