NLVR2（自然语言视觉推理，第二版）是人工智能和机器学习领域的一个基准数据集，旨在评估模型执行视觉推理的能力。该任务要求系统检查两张图像和一段自然语言描述，然后确定该描述相对于这对图像是正确还是错误。与其前身NLVR（使用合成、计算机生成的场景）不同，NLVR2使用来自互联网的真实世界照片，这使得推理任务显著更加复杂，也更接近实际应用。
该数据集于2019年由斯坦福大学和北卡罗来纳大学教堂山分校的研究人员引入，作为2017年发布的原始NLVR基准的后续版本。主要动机是解决合成数据的局限性，因为合成数据允许模型利用低层视觉捷径，而非进行真正的推理。NLVR2包含超过107,000条人工撰写的描述，每条描述与两张不同的图像配对。这些描述内容多样，涵盖空间关系、计数、比较和逻辑操作，且通常需要同时理解两张图像。
任务定义与评估
在NLVR2中，每个示例向模型提供一对图像（左和右）和一段描述。模型必须输出一个二元决策：如果描述准确描述这对图像，则输出“正确”，否则输出“错误”。例如，一段描述可能陈述“左图包含的人数多于右图”，模型必须通过比较两张图像来验证这一点。评估指标仅仅是保留测试集上的分类准确率。由于描述由人类撰写且图像为自然照片，该任务要求强大的视觉感知、语言理解和跨模态推理能力。
该基准分为训练集、开发集和测试集，其中测试集用于官方排行榜排名。一个显著特点是测试集包含“困难”示例，这些示例设计得特别具有挑战性，例如涉及否定或复杂空间介词的描述。这确保模型无法通过记忆模式或利用表面线索获得高分。
与其他基准的关系
NLVR2是更广泛的视觉推理基准家族的一部分，包括VQA（视觉问答）和CLEVR。然而，它与VQA的不同之处在于，它需要比较两张图像，而不是回答关于单张图像的开放式问题。与使用合成3D场景的CLEVR相比，NLVR2使用真实照片引入了更大的变异性和模糊性，使其成为更现实的泛化测试。该数据集通常与深度学习模型结合使用，特别是基于Transformer架构的模型，这些模型已成为多模态任务的标准。
NLVR2也影响了后续基准，如NLVR3和更广泛的“视觉蕴含”任务，其中目标是确定描述是否由图像蕴含。它仍然是评估结合视觉和语言的神经网络模型的广泛引用资源，并经常用于研究纳入视觉输入的大语言模型扩展。
模型性能与挑战
早期在NLVR上取得高准确率的模型通常依赖合成图像统计，但这些方法在NLVR2上失败。向自然图像的转变暴露了模型能力的显著差距。截至2024年，最先进的模型在测试集上达到约80-85%的准确率，仍有很大改进空间。人类在同一任务上的表现估计超过95%，表明当前系统在处理细微推理（如理解隐含关系或处理模糊描述）方面仍存在困难。
关键挑战包括处理光照、视角和物体外观的变化，以及解决描述中的逻辑矛盾。模型在需要准确计数物体或描述涉及依赖两张图像中物体相对位置的空间术语（如“上方”或“之间”）时经常失败。研究人员探索了各种架构创新，包括交叉注意力机制和多头注意力层，以更好地将视觉特征与文本表示对齐。
应用与影响
NLVR2测试的技能与生成式人工智能系统（如生成图像描述）、视障用户辅助技术以及需要推理视觉场景的自主系统等应用直接相关。该基准已被用于评估来自主要研究实验室的模型，包括与谷歌DeepMind、OpenAI和Anthropic相关的模型，以及麻省理工学院计算机科学与人工智能实验室和伯克利人工智能研究等学术机构。
NLVR2还推动了新训练技术的发展，如对比学习和课程学习，其中模型先训练于较简单的示例，再接触较难的示例。该数据集的公开可用性使其成为比较多模态模型的标准测试平台，并经常与VQA和Visual Genome等其他基准一起纳入更广泛的评估套件。
未来方向
截至2025年，研究继续推动视觉推理的边界。将NLVR2与大语言模型框架集成（其中语言模型通过视觉编码器增强）已显示出前景。然而，这些模型仍表现出脆弱性，特别是当描述包含罕见词或异常物体组合时。未来工作可能涉及扩展数据集以包含更多样化的图像来源，纳入时间或基于视频的推理，以及开发超越二元准确率以捕捉推理步骤质量的指标。
该基准仍然是衡量人工智能进展的关键工具，突出了人类与机器对视觉场景理解之间的差距。其设计原则影响了许多后续数据集，巩固了其作为多模态机器学习领域基础资源的地位。