XNLI（跨语言自然语言推理）是一个基准数据集，旨在评估自然语言处理模型跨多种语言执行自然语言推理的能力。该数据集由Facebook AI Research的研究人员于2018年提出，已成为跨语言理解的标准评估工具，尤其用于测试在一种语言上训练的模型是否能在没有额外任务特定训练数据的情况下泛化到其他语言。该数据集涵盖15种语言，包括英语、法语、西班牙语、德语、希腊语、保加利亚语、俄语、土耳其语、阿拉伯语、越南语、泰语、中文、印地语、斯瓦希里语和乌尔都语。
自然语言推理，也称为文本蕴含，是判断给定假设是否被前提蕴含、矛盾或与之中性的任务。XNLI在每种语言中提供前提-假设对，每对标注为三类之一：蕴含、矛盾或中性。该数据集基于MultiNLI语料库构建，后者包含英语句子对，并通过专业人工翻译将开发集和测试集扩展到其他14种语言。这种设计使研究人员能够评估跨语言迁移，即模型在英语数据上训练后测试于非英语语言，以及零样本和少样本学习场景。
构建与组成
XNLI数据集通过从MultiNLI语料库中选取5,000个开发集和5,000个测试集前提-假设对构建而成。每对由专业翻译人员从英语翻译成其他14种语言，确保高语言质量和文化适当性。然而，训练数据仍为英语，取自原始MultiNLI训练集，后者包含超过390,000对。这种设置迫使模型从英语学习推理逻辑，然后将其应用于其他语言，使XNLI成为跨语言泛化的严格测试。
这15种语言被选择以代表多样化的语系和文字，包括印欧语系（英语、法语、西班牙语、德语、希腊语、保加利亚语、俄语、土耳其语、印地语、乌尔都语）、亚非语系（阿拉伯语）、汉藏语系（中文）、南亚语系（越南语）、壮侗语系（泰语）和尼日尔-刚果语系（斯瓦希里语）。这种多样性挑战模型处理形态、句法和文字变异。每个语言子集包含相同的10,000对（5,000开发集和5,000测试集），允许跨语言直接比较。
评估指标与使用场景
XNLI通常使用准确率进行评估，该指标衡量正确分类的前提-假设对百分比。该数据集支持两种主要评估协议：翻译训练，其中训练数据被机器翻译成目标语言；以及翻译测试，其中测试集被翻译成英语。翻译训练方法更为常见，反映了低资源语言中标注数据稀缺的实际场景。研究人员还使用XNLI评估零样本跨语言迁移，即仅用英语训练的模型直接在其他语言上评估，无需任何目标语言训练数据。
该数据集在推动多语言模型发展方面发挥了重要作用。例如，多语言BERT和XLM等模型在XNLI上相比早期方法取得了显著改进，跨语言平均准确率从约60%提升至超过70%。截至2023年，GPT-4和PaLM等最先进的大型语言模型在XNLI上已达到超过85%的准确率，尽管性能仍因语言而异，低资源语言如斯瓦希里语和乌尔都语通常得分低于高资源语言如法语和德语。
与其他基准的关系
XNLI是更广泛的跨语言理解基准家族的一部分，包括XGLUE和XTREME，后者聚合了问答和命名实体识别等多个任务。由于设计简洁且评估指标清晰，XNLI常被用作这些更大基准的核心组件。它通过增加多语言维度补充了SNLI和MultiNLI等其他自然语言推理数据集，促进了跨语言表示学习和迁移学习的研究。
该数据集还影响了多语言预训练目标的发展。诸如跨语言语言模型预训练（模型在多种语言上进行掩码语言建模训练）等技术已直接在XNLI上评估。该基准已被数千篇研究论文引用，使其成为多语言自然语言处理领域的基础资源。
局限性与批评
尽管使用广泛，XNLI仍存在局限性。该数据集源自英语源文本，这意味着非英语版本是翻译而非原始文本，可能引入翻译腔伪影，不能反映这些语言的自然使用。此外，前提-假设对相对较短，可能无法捕捉现实应用中所需的复杂推理。一些研究人员指出，在XNLI上的高准确率不一定转化为其他任务（如生成或对话）中的稳健跨语言理解。固定的15种语言集合也排除了许多低资源语言，限制了其在真正低资源场景中的适用性。
影响与遗产
XNLI在机器学习社区推广跨语言评估方面发挥了关键作用。它一直是多语言Transformer模型（包括XLM-R和mT5）发展的关键驱动力，这些模型在该基准上树立了新标准。该数据集公开可用于研究目的，并集成到Hugging Face的datasets和PyTorch等流行库中，便于访问和复现。其设计启发了类似努力，如创建其他任务的多语言版本，并且它仍是衡量跨语言自然语言理解进展的标准参考点。