MultiNLI，即多体裁自然语言推理（Multi-Genre Natural Language Inference）的缩写，是一个为自然语言推理（NLI）任务设计的大规模数据集。它由斯坦福大学的研究人员于2017年提出，建立在早期的SNLI（斯坦福自然语言推理）语料库基础之上。该数据集包含433,000个句子对，每个句子对被标注为三种关系之一：蕴含、矛盾或中性。其显著特点是涵盖了十种不同的文本体裁，从小说和旅行指南到电话语音和911紧急报告，使其成为比前身更具挑战性和现实性的基准。
MultiNLI的主要目的是训练和评估机器学习模型在识别文本蕴含任务上的表现。在此任务中，模型会收到一个前提句和一个假设句，必须确定假设是否在逻辑上遵循前提（蕴含）、直接与之冲突（矛盾）或无关（中性）。MultiNLI在自然语言处理领域被广泛使用，并已成为评估神经网络模型（包括基于Transformer的模型）推理能力的标准基准。
数据集结构与体裁
该数据集分为两个主要部分：匹配和不匹配的测试集。匹配集包含与训练数据相同体裁的示例，而不匹配集则包含训练中未见的体裁。这种设计测试了模型在不同类型文本上的泛化能力。十种体裁包括面对面对话、小说、政府文件、信件、9/11报告、电话语音、旅行指南等。每种体裁贡献大致相等数量的示例，确保均衡的代表性。训练集包含约392,000个句子对，其余部分分配给验证集和测试集。
创建与标注
该数据集是使用众包平台创建的，类似于SNLI。人类标注者被展示来自源文本的前提句，并被要求写出一个与前提在蕴含、矛盾或中性方面相关的假设句。每个句子对随后由多位标注者验证以确保质量。最终标签由标注者之间的多数投票决定。这一过程产生了一个高质量的数据集，具有较高的标注者间一致性，使其成为训练和评估的可靠资源。
在模型开发中的作用
MultiNLI在现代大型语言模型的发展中发挥了重要作用。它是2018年推出的GLUE（通用语言理解评估）基准套件中的关键基准之一。诸如BERT、RoBERTa等许多模型都在MultiNLI上进行了评估，以衡量其执行复杂推理任务的能力。该数据集还被用于训练其他下游任务的模型，如问答和文本摘要，因为它鼓励模型学习稳健的语义表示。
局限性与批评
尽管MultiNLI广受欢迎，但它因某些局限性而受到批评。一个问题是，众包的假设有时可能不自然或包含模型可以利用的伪影，导致性能被高估。例如，一些假设包含否定词，这些词是矛盾的强指标，使模型无需完全理解文本即可做出预测。此外，该数据集侧重于句子级推理，无法捕捉需要多句上下文或世界知识的更复杂推理形式。研究人员提出了替代数据集，如ANLI（对抗性NLI），以解决其中一些不足。
影响与遗产
MultiNLI对人工智能和机器学习领域产生了持久的影响。它已被数千篇研究论文引用，并仍然是评估自然语言理解的标准基准。其引入的多体裁数据影响了后续数据集的设计，推动了向更多样化和现实评估环境的转变。截至2020年代初，MultiNLI继续在学术研究和工业应用中使用，特别是在需要强大推理能力的生成式AI系统开发中。