CLEVR（Compositional Language and Elementary Visual Reasoning）は、人工知能システムの視覚的推論能力を評価するために2017年に導入されたベンチマークデータセットである。これは、単純な3D形状の10万枚のレンダリング画像と、それに対応する85万3,554件の質問から構成され、計数、比較、属性識別、空間的関係などの特定の推論スキルを分離して測定するように設計されている。このデータセットは、スタンフォード大学の研究者ら（Justin Johnson、 Bharath Hariharan、 Fei-Fei Liを含む）によって開発され、既存の視覚的質問応答ベンチマークが、真の理解ではなく統計的バイアスに依存することが多いという限界に対処することを目的とした。
CLEVRの画像は、3つの形状（立方体、球体、円柱）、2つのサイズ（大、小）、2つの素材（ゴム、金属）、および8つの色（灰色、青、茶色、黄色、赤色、緑色、紫色、シアン）を持つオブジェクトを特徴としている。各シーンには、3D環境にランダムに配置された3から10個のオブジェクトが含まれる。質問は90の異なる機能テンプレートから生成され、存在、計数、比較、属性クエリ、および左、右、前、後などの空間的関係についての推論をテストするバリエーションを生み出す。制御された生成プロセスにより、回答がシーンと質問によって一意に決定され、曖昧さが除去され、精密なエラー分析が可能になる。
設計目標と診断的価値
CLEVRの主な目的は、Artificial intelligence研究、特にDeep learningおよびNeural networkアーキテクチャを使用するシステムのための診断ツールとして機能することである。の実世界データセットとは異なり、CLEVRは視覚的ノイズ、照明の変動、背景の乱雑さを排除して、認知的操作を分離する。研究者は、シーンと質問を体系的に摂動させて、モデル内の特定の失敗モード（複数オブジェクトの計数不能や空間的前置詞の混同など）を特定できる。この粒度の高いフィードバックは、エラーが一般的なパフォーマンス低下ではなく特定の推論ステップに追跡できるため、モデル設計における反復的改善を加速する。
モデル開発への影響
CLEVRは、構成的推論のためのMachine learningアプローチを前進させる上で重要な役割を果たしてきた。初期の結果では、標準的な畳み込みおよびリカレントネットワークが複雑な質問に対して偶然のレベルに近いパフォーマンスを示した一方、人間の精度は92パーセントを超えた。このギャップが、オブジェクト間のペアワイズ相互作用を明示的にモデル化するRelation Networkや、質問を推論ステップに分解するMAC（Memory, Attention, and Composition）ネットワークなどの専門的アーキテクチャの開発を動機付けた。これらのモデルは、CLEVRで98パーセント以上の精度を達成し、明示的な構造的先行知識が初期の失敗を克服できることを実証した。のデータセットはまた、計数や比較などの特定の機能を処理する別個のモジュールを持つモジュラーネットワークや、質問を実行可能なコードに変換するプログラム生成器に関する研究も促進した。
限界と批判
その成功にもかかわらず、CLEVRはその一般性に関して scrutiny に直面している。の合成の性質と限られたオブジェクトタイプは、モデルが狭い分布に過適合し、CLEVRでは良好に機能するが、OpenAIやGoogle DeepMindの製品評価に見られるような実世界タスクでは不十分である可能性があることを意味する。Brendan LakeおよびJoshua Tenenbaumを含む研究者らは、高い精度が必ずしも新規の構成に対する頑健な一般化を意味するわけではないと指摘している。のデータセットはまた、人間の言語に共通する曖昧さを欠き、行動や時間的ダイナミクスについての推論をテストしない。これらの批判は、仮想的シーン、動的事象、およびより複雑なオブジェクトタイプを導入して元の範囲を超えて押し進めるCLEVR-Hyp、 CLEVRER、およびCompositional CLEVRなどの派生的ベンチマークを生み出した。
ベンチマークと標準化
CLEVRデータセットは、Computer visionおよびNatural language processingコミュニティにおいて標準的なベンチマークとなり、多数の研究論文やリーダーボードに登場している。の制御された設計は、研究者がモデルのコンポーネントを体系的に除去してその貢献を測定するアブレーション研究に適している。のデータセットのコードと生成ツールはオープンソースであり、特定の実験用にカスタマイズが可能である。Amazon Web ServicesやGoogle Cloudなどの主要なクラウドプロバイダーは、機械学習チュートリアルにCLEVRを含めており、MIT CSAILやCarnegie Mellon Universityなどの機関の学術コースは、学生プロジェクトにこれを使用している。のベンチマークの長寿は、その明確なメトリクス、複製の容易さ、およびエラーの解釈可能性に由来し、これらは新しいデータセットが登場しても価値があり続ける。
将来の方向性
進行中の研究は、診断的明確さを維持しながら、CLEVRの原則をより現実的な領域に拡張することを目指している。とえば、CLEVR-Xは外部知識グラフを導入し、CLEVR-Refは指示表現を追加する。Large language modelおよびTransformer (architecture)アーキテクチャの台頭により、シーンをテキスト記述に変換することで、明示的な視覚処理なしにCLEVRスタイルの質問を解けるかどうかのテストが行われている。初期の結果は、GPT-4のようなモデルが中程度の精度を達成できるが、多段階の空間的推論には依然として苦労することを示しており、Generative AIアプローチが構造化された推論モジュールとの統合を必要とすることを示唆している。のデータセットは、次世代AIシステムの重要な課題である構成的一般化を評価するための活発な領域であり続けている。