MNLI（多体裁自然语言推断），又称MultiNLI语料库，是一个用于评估人工智能的大规模基准数据集，尤其在自然语言推断领域。它旨在测试模型判断给定假设与给定前提之间是蕴含、矛盾还是中立关系的能力。该项目于2018年由纽约大学的研究人员发布，由Adina Williams、Nikita Nangia和Samuel R. Bowman领导，并被广泛视为早期斯坦福自然语言推断（SNLI）语料库的后续版本，后者仅包含单一体裁（带标题的图像）。
该数据集包含约43.3万个句子对，分为训练集（近39.3万个独特句子对）、开发集（约9800个句子对，即dev_matched划分）以及两个各含9800个句子对的测试集（test_matched和test_mismatched划分）。MNLI的显著特点在于其包含了十种不同的美国英语书面和口语风格，这些风格被归为五类体裁：面对面交流、信件、9/11报告、销售、旅行、小说、政府、移动、法庭和逐字记录。这些体裁源自OpenSubtitles、Brown语料库、Switchboard语料库和政府报告等来源。这种多样性旨在迫使模型超越单一语言领域进行泛化，使基准更能代表现实世界中的自然语言处理挑战。
MNLI中的每个句子对都包含一个前提和一个假设，两者均由人工标注者撰写，并为其分配三个标签之一：蕴含（假设在逻辑上从前提推出）、矛盾（假设与前提冲突）或中立（既非蕴含也非矛盾）。标注者获得了明确的指导原则来生成和标注句子对，确保标签基于前提内容，并实施了质量控制机制以过滤低质量或错误的样本。该数据集自发布以来，已被广泛用作机器学习和深度学习领域的基准。
自发布以来，MNLI在大型语言模型和基于Transformer的架构的发展中发挥了重要作用。它成为GLUE基准（通用语言理解评估）中的一项主要任务，随后也出现在SuperGLUE基准中，BERT、RoBERTa和T5等模型在此取得了高准确率。由于test_mismatched部分来自训练中未见过的体裁，MNLI特别适合衡量模型对领域变化的鲁棒性。例如，在简单、对话式文本上训练的模型会在正式文档上接受评估，其性能往往显著下降，这比单一体裁的数据集提供了更严格的评估。
该数据集有正式文档记录，并持续受到关于标签可靠性和人工标注者偏见的研究关注。截至2023年，MNLI已推动更严格的评估方法发展，并借助BERT分数等指标不断进步，但其固有局限仍包括人工标注的高成本和体裁覆盖的广度问题。然而，其广泛的体裁覆盖为跨领域训练数据集铺平了道路，并仍是训练和评估AI系统的核心基准，尽管当前最先进的性能在某些划分上已超过人类水平，但尚未完全达到完美。
来自牛津大学和斯坦福AI实验室等机构的研究人员已使用MNLI来探索神经网络中的语言知识，大型语言模型的开发者（如OpenAI和Google DeepMind）也报告了其在微调模型以理解事实和逻辑推理方面的用途。该数据集的影响已超越自然语言处理研究，延伸至合成数据生成、语义相似性任务，乃至面向任务的对话系统和问答等下游应用。
MNLI语料库基于从免费在线来源提取的句子作为前提。假设句子由人工生成，通常比前提更短且更具合成性，但并不一定基于严格的事实内容。每个假设与一个前提配对，形成三元标签实例。创建者并未使用固定的模板，而是采用了一套规则，规定了允许的操作：首先，标注者根据与前提的逻辑关系撰写假设；然后，第二位标注者独立验证；分歧由第三位标注者解决。这种三重标注过程在首轮标注中使一致性达到约83%，并因自然分布中的标签差异而进一步细化，最终官方排行榜使用协议分数对任务子集进行评估。
数据集包含多个划分以评估泛化能力。匹配部分（matched）来自与训练集相同的体裁，而失配部分（mismatched）则来自训练中未出现的体裁。训练集涵盖十种体裁，但失配测试集并非严格意义上仅来自这十种体裁，，实际上，失配测试集从一组不同的作品和独特体裁中抽取来源。因此，失配评估不仅要求模型掌握词汇，还要求理解体裁的广度。例如，遗漏罕见格式（如高度专业化的法律文本）可能会暴露模型的弱点。数据以JSON Lines格式公开提供，可用于训练、验证和测试。
MNLI的主要评估指标是匹配和失配划分上的准确率。在GLUE基准中，模型需要在匹配划分上达到91%的准确率，在失配划分上达到89%的准确率，才能超越普通人类专家的平均水平。多年来，分数从早期RNN模型的约71%提升至大型预训练Transformer的90%以上。这些高分引发了对任务难度的质疑，但失配划分的存在维持了挑战性。
鲁棒性方面的考量源于体裁的不平衡性，而测试集也包含了有争议的样本，这些样本来自自然和数字数据。例如，标签集并非完全平衡，约33%的样本为蕴含、33%为矛盾、33%为中立，且性能并不总能从英语迁移到其他语言，因为该资源本质上是英语的。2019年末，研究人员发现模型会使用简单的启发式方法，如直接的短语重叠，因此该数据集因未能强制要求真正的逻辑推理而受到批评，引发了关于NLI作为理解度量有效性的辩论。尽管如此，在MNLI上取得成功的模型研究已为架构发展（如模型扩展和结构化常量）贡献了基准，并且该数据集仍是几乎所有机器学习可复现性研究中的默认工具。
MNLI被用于学术和企业环境，微软、谷歌云和英伟达等实体在其预训练研究中引用了该数据集。在实践中，它已成为微调大型语言模型的常用检查点，用于在部署前验证推理一致性。其他工作将其作为组件纳入更广泛的评估框架。总体而言，MNLI是现代AI的核心科学工具，截至2025年，它仍在众多机器学习框架中发挥作用。
与任何数据集一样，MNLI的局限性源于其人工构建过程。研究人员观察到，当面对方言变化、标签噪声减少以及模型对性别偏见的未知敏感性时，性能会出现不稳定性。尽管其来源可验证且由民主化方式创建，使其成为衡量更高性能声明的基线，但未来的扩展尝试（如合成数据和跨语言版本）旨在弥补这些不足。MNLI的遗产在于提供了零样本能力评估，以监督语言理解的公平性。在许多方面，它从SNLI到后续版本（如SuccessNLI）建立了标准，证明了任务多样性对整个领域的重要性，并可能作为2018年人工智能发展的标志性产物而留存。
参考文献
- Williams, A., Nangia, N., & Bowman, S. R. (2018). A broad-coverage challenge corpus for sentence understanding through inference.
- Wang, A., et al. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding.