MultiNLI，即多体裁自然语言推理（Multi-Genre Natural Language Inference）的简称，是一个为自然语言推理（NLI）任务设计的大规模数据集。它由斯坦福大学的研究人员于2017年提出，建立在早期的SNLI（斯坦福自然语言推理）语料库基础之上。该数据集包含43.3万个句子对，每个句子对被标注为三种关系之一：蕴含、矛盾或中立。其显著特征在于涵盖了十种不同的文本体裁，从小说和旅行指南到电话语音和911紧急报告，使其成为比前身更具挑战性和更贴近现实的基准。
MultiNLI的主要用途是训练和评估机器学习模型在识别文本蕴含任务上的表现。在该任务中，模型会获得一个前提句和一个假设句，并必须判断假设句是从前提句逻辑上推导而来（蕴含）、与之直接冲突（矛盾），还是无关（中立）。MultiNLI在自然语言处理领域被广泛使用，并已成为评估神经网络模型推理能力的标准基准，包括基于Transformer的模型。
数据集结构与体裁
该数据集分为两个主要部分：匹配和不匹配的测试集。匹配集包含与训练数据相同体裁的示例，而不匹配集则包含训练期间未出现的体裁。这种设计考验了模型在不同类型文本间的泛化能力。十种体裁包括面对面对话、小说、政府文件、信件、9/11报告、电话语音、旅行指南等。每种体裁贡献的示例数量大致相等，确保了均衡的代表性。训练集包含约39.2万个句子对，其余部分分配给验证集和测试集。
创建与标注
该数据集是使用众包平台创建的，与SNLI类似。人类标注者会看到来自源文本的前提句，并被要求写出一个与前提句构成蕴含、矛盾或中立关系的假设句。随后，每个句子对由多名标注者进行验证以确保质量。最终标签由标注者之间的多数投票决定。这一过程产生了高质量的数据集，具有较高的标注者间一致性，使其成为训练和评估的可靠资源。
在模型开发中的作用
MultiNLI在现代大型语言模型的发展中发挥了重要作用。它是2018年推出的GLUE（通用语言理解评估）基准套件中的关键基准之一。BERT、RoBERTa等许多模型都在MultiNLI上进行了评估，以衡量其执行复杂推理任务的能力。该数据集还被用于训练其他下游任务的模型，如问答和文本摘要，因为它鼓励模型学习稳健的语义表示。
局限性与批评
尽管广受欢迎，MultiNLI仍因某些局限性而受到批评。一个问题是，众包生成的假设有时可能显得不自然或包含模型可利用的伪影，导致性能被高估。例如，一些假设包含否定词，这些词是矛盾的强烈指示符，使模型无需充分理解文本即可做出预测。此外，该数据集侧重于句子级推理，无法捕捉需要多句上下文或世界知识的更复杂推理形式。研究人员提出了替代数据集，如ANLI（对抗性NLI），以解决其中的一些不足。
影响与遗产
MultiNLI对人工智能和机器学习领域产生了持久的影响。它已被数千篇研究论文引用，并仍是评估自然语言理解的标准基准。其引入的多体裁数据影响了后续数据集的设计，推动了向更多样化和更贴近现实的评估环境发展。截至2020年代初，MultiNLI仍在学术研究和工业应用中使用，特别是在需要强大推理能力的生成式AI系统的开发中。