MultiNLI，即多体裁自然语言推理（Multi-Genre Natural Language Inference），是一个用于自然语言推理（NLI）研究的大规模语料库。该语料库由斯坦福大学的研究人员于2017年发布，通过纳入来自十种不同体裁的文本（包括小说、政府文件、电话语音和旅行指南）扩展了早期的SNLI数据集。该语料库旨在评估模型判断前提与假设之间逻辑关系的能力，并将其分类为蕴含、矛盾或中立。
该数据集包含超过43万个句子对，使其在发布时成为最大的NLI资源之一。每个句子对由人工标注者标记，前提取自源文本，假设由众包工作者生成。MultiNLI是自然语言理解的关键基准，推动模型跨领域泛化，而非过度拟合单一写作风格。
构建与标注
MultiNLI由斯坦福大学的Adina Williams、Nikita Nangia和Samuel Bowman领导的团队构建。前提句子从十种体裁中采样：小说、政府文件、电话语音、旅行指南、信件、九一一报告、Slate杂志、逐字记录、面对面对话和学术论文。这种多样性旨在测试对领域转移的鲁棒性，这是早期NLI模型常见的失败模式。
假设由亚马逊Mechanical Turk工作者生成，他们被要求撰写与前提存在蕴含、矛盾或中立关系的句子。每个假设随后由第二组标注者验证，确保标签的高质量。最终数据集被划分为训练集、开发集和测试集，其中开发集和测试集进一步根据体裁是否与训练数据重叠分为匹配和不匹配条件。
在自然语言处理中的重要性
MultiNLI成为评估句子理解模型的标准基准。它被纳入GLUE基准，这是一个旨在衡量通用语言理解能力的任务集合。诸如BERT及其后继者等模型在MultiNLI上取得了显著改进，证明了在大规模文本语料库上进行预训练的价值。该语料库还影响了后来的数据集，如专注于对抗性示例的ANLI，以及包含更具挑战性NLI任务的SuperGLUE。
多体裁设计凸显了领域适应的重要性。在单一体裁上训练的模型通常对未见体裁表现不佳，而MultiNLI为研究这一问题提供了受控环境。它还推动了跨领域泛化的研究，诸如领域对抗训练和数据增强等方法在其不匹配测试集上得到评估。
与其他NLI数据集的关系
MultiNLI建立在斯坦福自然语言推理（SNLI）语料库的基础上，后者由图像描述组成。虽然SNLI仅限于单一体裁，但MultiNLI将范围扩展到书面和口语文本。这两个数据集通常一起使用，SNLI作为预训练来源，MultiNLI作为更具挑战性的评估。后来，XNLI数据集将NLI扩展到多种语言，HANS数据集引入了基于启发式的评估以探测模型弱点。
MultiNLI还与PASCAL挑战中的文本蕴含识别（RTE）任务共享设计原则，后者使用较小的人工策划数据集。MultiNLI的规模和体裁多样性使其成为现代Machine learning模型更实用的训练资源。
影响与遗产
MultiNLI的发布恰逢基于Transformer (architecture)的模型在Deep learning中的兴起。其纳入GLUE有助于跨研究团队标准化评估，加速了自然语言理解的进展。截至2020年代初，诸如大型语言模型等最先进模型在MultiNLI上达到接近人类的性能，尽管它们仍难以应对对抗性和分布外示例。
该语料库在学术文献中被广泛引用，并仍是NLI研究的参考点。其多体裁采样方法影响了后续数据集创建工作，包括问答和常识推理领域。MultiNLI可免费用于研究用途，并托管在Hugging Face和GLUE基准网站等平台上。
参见
参考文献
- Williams, A., Nangia, N., & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. Proceedings of NAACL-HLT.
- Wang, A., et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. Proceedings of ICLR.