मल्टीएनएलआई

MultiNLI，即多体裁自然语言推理（Multi-Genre Natural Language Inference）的缩写，是一个用于自然语言推理（NLI）研究的大规模语料库。它于2017年由斯坦福大学的研究人员发布，通过纳入来自十种不同体裁的文本（包括小说、政府文件、电话语音和旅行指南）扩展了早期的SNLI数据集。该语料库旨在评估模型判断前提与假设之间逻辑关系的能力，并将其分类为蕴含、矛盾或中立。

该数据集包含超过43万个句子对，使其成为发布时最大的NLI资源之一。每个句子对由人工标注者标记，前提取自源文本，假设由众包工作者生成。MultiNLI是自然语言理解的关键基准，推动模型跨领域泛化，而不是过度拟合单一写作风格。

构建与标注

MultiNLI由斯坦福大学的Adina Williams、Nikita Nangia和Samuel Bowman领导的团队构建。前提句子从十种体裁中采样：小说、政府文件、电话语音、旅行指南、信件、九一一报告、Slate杂志、逐字记录、面对面对话和学术论文。这种多样性旨在测试对领域偏移的鲁棒性，这是早期NLI模型常见的失败模式。

假设由Amazon Mechanical Turk工作者生成，他们被要求写出与前提蕴含、矛盾或中立的句子。每个假设随后由第二组标注者验证，确保标签质量。最终数据集被分为训练集、开发集和测试集，其中开发集和测试集进一步分为匹配和不匹配条件，基于体裁是否与训练数据重叠。

在自然语言处理中的重要性

MultiNLI成为评估句子理解模型的标准基准。它被纳入GLUE基准，这是一个旨在衡量通用语言理解能力的任务集合。像BERT及其后继者这样的模型在MultiNLI上取得了显著改进，展示了在大规模文本语料库上预训练的价值。该语料库还影响了后来的数据集，如专注于对抗性示例的ANLI，以及包含更具挑战性NLI任务的SuperGLUE。

多体裁设计强调了领域适应的重要性。在单一体裁上训练的模型通常对未见体裁表现不佳，而MultiNLI提供了一个受控环境来研究这一问题。它还推动了跨领域泛化的研究，如领域对抗训练和数据增强等方法在其不匹配测试集上进行了评估。

与其他NLI数据集的关系

MultiNLI建立在斯坦福自然语言推理（SNLI）语料库的基础上，后者由图像标题组成。虽然SNLI仅限于单一体裁，但MultiNLI将范围扩展到书面和口语文本。这两个数据集经常一起使用，SNLI作为预训练来源，MultiNLI作为更具挑战性的评估。后来，XNLI数据集将NLI扩展到多种语言，HANS数据集引入了基于启发式的评估来探测模型弱点。

MultiNLI还与PASCAL挑战中的文本蕴含识别（RTE）任务共享设计原则，后者使用较小的人工策划数据集。MultiNLI的规模和体裁多样性使其成为现代Machine learning模型更实用的训练资源。

影响与遗产

MultiNLI的发布恰逢基于Transformer (architecture)的模型在Deep learning中的兴起。其纳入GLUE有助于跨研究组标准化评估，加速了自然语言理解的进展。截至2020年代初，最先进的模型如大型语言模型在MultiNLI上达到接近人类的性能，尽管它们仍难以应对对抗性和分布外示例。

该语料库在学术文献中被广泛引用，并仍是NLI研究的参考点。其多体裁采样方法影响了后续数据集创建工作，包括问答和常识推理领域。MultiNLI可免费用于研究，并托管在Hugging Face和GLUE基准网站等平台上。

另见

• Artificial intelligence
• Natural language processing（如可用）
• glue-benchmark（如可用）
• SNLI（如可用）

参考文献

• Williams, A., Nangia, N., & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. Proceedings of NAACL-HLT.
• Wang, A., et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. Proceedings of ICLR.