CLEVR（组合语言与基础视觉推理）是一个于2017年推出的基准数据集，用于评估人工智能系统的视觉推理能力。该数据集包含100,000张简单三维形状的渲染图像，以及853,000个对应的问题，旨在隔离并衡量特定的推理技能，如计数、比较、属性识别和空间关系。该数据集由斯坦福大学的研究人员开发，包括Justin Johnson、Bharath Hariharan和Fei-Fei Li，目的是解决现有视觉问答基准中常依赖统计偏差而非真正理解的问题。
CLEVR中的图像包含具有三种形状（立方体、球体、圆柱体）、两种大小（大、小）、两种材质（橡胶、金属）和八种颜色（灰色、蓝色、棕色、黄色、红色、绿色、紫色、青色）的物体。每个场景包含3到10个随机放置在三维环境中的物体。问题由90个不同的功能模板生成，产生多种变体，用于测试关于存在性、计数、比较、属性查询以及空间关系（如左、右、前、后）的推理。受控的生成过程确保答案由场景和问题唯一确定，消除了歧义，并支持精确的错误分析。
设计目标与诊断价值
CLEVR的主要目的是作为Artificial intelligence研究的诊断工具，特别是针对使用Deep learning和Neural network架构的系统。与真实世界数据集不同，CLEVR消除了视觉噪声、光照变化和背景杂乱，以隔离认知操作。研究人员可以系统地扰动场景和问题，以识别模型中的特定失败模式，例如无法计数多个物体或混淆空间介词。这种细粒度的反馈加速了模型设计的迭代改进，因为错误可以追溯到特定的推理步骤，而非整体性能下降。
对模型发展的影响
CLEVR在推动Machine learning组合推理方法方面发挥了重要作用。初步结果显示，标准卷积网络和循环网络在复杂问题上表现接近随机水平，而人类准确率超过92%。这一差距促使了专门架构的发展，如关系网络（Relation Network），它显式建模物体之间的成对交互，以及MAC（记忆、注意力和组合）网络，它将问题分解为推理步骤。这些模型在CLEVR上的准确率超过了98%，表明显式的结构先验能够克服早期的失败。该数据集还推动了模块化网络的研究，其中单独的模块处理特定功能，如计数或比较，以及将问题翻译为可执行代码的程序生成器。
局限性与批评
尽管取得了成功，CLEVR在通用性方面仍面临审视。其合成性质和有限的物体类型意味着模型可能过拟合于狭窄的分布，在CLEVR上表现良好，但在真实世界任务（如OpenAI或Google DeepMind产品评估中的任务）上表现不佳。研究人员，包括Brendan Lake和Joshua Tenenbaum，指出高准确率并不一定意味着对新颖组合的稳健泛化。该数据集还缺乏人类语言中常见的歧义，并且不测试关于动作或时间动态的推理。这些批评催生了衍生基准，如CLEVR-Hyp、CLEVRER和组合CLEVR，它们引入了假设场景、动态事件和更复杂的物体类型，以超越原始范围。
基准测试与标准化
CLEVR数据集已成为Computer vision和Natural language processing社区中的标准基准，出现在众多研究论文和排行榜中。其受控设计使其适用于消融研究，研究人员可以系统地移除模型的组件以衡量其贡献。该数据集的代码和生成工具是开源的，允许针对特定实验进行定制。主要云服务提供商如Amazon Web Services和Google Cloud在其机器学习教程中包含了CLEVR，而MIT CSAIL和Carnegie Mellon University等机构的学术课程则将其用于学生项目。该基准的持久性源于其清晰的指标、易于复现以及错误的可解释性，这些特性在新数据集不断涌现的背景下仍然具有价值。
未来方向
正在进行的工作旨在将CLEVR的原则扩展到更真实的领域，同时保持诊断清晰度。例如，CLEVR-X引入了外部知识图谱，CLEVR-Ref增加了指称表达。Large language model和Transformer (architecture)架构的兴起促使了对这些模型能否在不进行显式视觉处理的情况下解决CLEVR风格问题的测试，方法是将场景转换为文本描述。早期结果表明，GPT-4等模型可以达到中等准确率，但在多步空间推理方面仍有困难，这表明Generative AI方法需要与结构化推理模块相结合。因此，该数据集仍然是评估组合泛化（下一代AI系统的关键挑战）的活跃领域。