ANLI（对抗性自然语言推理）是一个基准数据集，旨在评估自然语言推理（NLI）模型的鲁棒性。它由Facebook AI Research（现为Meta AI的一部分）的研究人员及其合作者（包括Yixin Nie、Adina Williams等人）于2019年提出。该基准包含三轮难度递增的对抗性示例，这些示例通过人类与模型共同参与的循环过程生成。ANLI旨在超越早期NLI数据集（如SNLI和MultiNLI）的局限性，专注于模型难以处理的现象，例如多步推理、否定和世界知识。它已成为大型语言模型及其他NLI系统的标准评估工具，凸显了泛化和推理能力方面的差距。
ANLI的构建遵循对抗性流程。在每一轮中，人类标注者尝试构造前提和假设，使当前最先进的模型产生错误预测。模型在现有NLI数据上训练，然后暴露于新示例；如果模型失败，该示例将被保留。此过程重复三轮，每轮复杂度递增，需要更复杂的推理能力。最终数据集包含超过160,000个示例，分为训练集、验证集和测试集。各轮次标记为R1、R2和R3，其中R3最具挑战性。这种设计确保基准在模型改进时仍保持难度，因为示例专门针对已知弱点。
评估与指标
ANLI通常用作评估NLI模型的测试集，以准确率作为主要指标。模型在标准NLI数据集（例如MultiNLI）上训练，然后在不额外微调其训练集的情况下在ANLI上进行评估，以衡量泛化能力。然而，一些研究也使用ANLI训练数据进行微调，这可能会提高分数，但通常不鼓励这样做，以确保公平比较。该基准已被机器学习社区广泛采用，许多论文在报告GLUE和SuperGLUE等基准结果的同时，也报告ANLI准确率。截至2023年，最佳模型在ANLI上的准确率约为70-80%，仍远低于人类表现（估计超过90%）。
意义与影响
ANLI通过暴露标准数据集训练模型的局限性，对NLI研究产生了重大影响。它推动了更鲁棒架构和训练技术的发展，例如具有改进推理能力的Transformer、数据增强以及基于人类反馈的强化学习（RLHF）。该基准也被用于研究位置编码和多头注意力与推理的关系。此外，ANLI影响了其他对抗性基准的创建，如Adversarial SQuAD和HANS，并已集成到更广泛的评估套件（如SuperGLUE）中，作为模型鲁棒性的诊断工具。
局限性与批评
尽管具有影响力，ANLI仍面临批评。一些研究人员认为，对抗性示例往往不自然或过于牵强，导致模型因在可能无法反映实际使用的边缘案例上失败而受到惩罚。此外，该基准对英语的聚焦限制了其在多语言环境中的适用性。还有人担心人类与模型共同参与的循环过程的可复现性，因为确切的生成流程可能不够透明。尽管如此，ANLI仍然是压力测试NLI系统的宝贵工具，并推动了自然语言处理（NLP）中对抗性鲁棒性的持续研究。
相关基准与未来方向
ANLI是NLP中对抗性和动态基准更广泛趋势的一部分。其他示例包括将ANLI作为组件的SuperGLUE，以及包含各种推理任务的较新BIG-bench。未来方向包括将ANLI扩展到其他语言和领域，以及使用生成式AI模型开发更高效的对抗性示例生成方法。随着人工智能系统能力的增强，像ANLI这样的基准将继续发展，以确保其保持挑战性和相关性。
参见
注意：某些内部链接为占位符，可能不对应现有文章；提供的slug列表未包含这些特定术语，因此为遵守链接约束而省略。