SuperGLUE是一个基准测试套件，由谷歌、DeepMind和纽约大学的研究人员于2019年推出，用于评估自然语言理解（NLU）系统的能力。它被设计为此前GLUE（通用语言理解评估）基准更具挑战性的后继版本，而GLUE已被高性能模型所饱和。SuperGLUE包含八个多样化的任务，测试系统在指代消解、问答、文本蕴含以及多句推理方面的能力，重点在于需要更深层语言理解和常识知识的任务。
该基准的创建是为了应对机器学习和深度学习模型的快速进展，尤其是基于变换器架构的模型，这些模型在GLUE上已接近人类水平。SuperGLUE通过纳入对机器更具挑战性的任务来提高标准，例如识别带有多句前提的文本蕴含，以及回答需要多步推理的问题。该套件提供一个单一分数，汇总所有任务的性能，从而允许直接比较不同模型和方法。
任务组成
SuperGLUE包含八个任务，每个任务针对语言理解的一个不同方面。这些任务包括：BoolQ（布尔问题，答案为是/否）、CB（承诺库，文本蕴含任务）、COPA（合理替代选择，因果推理任务）、MultiRC（多句阅读理解）、ReCoRD（带常识推理的阅读理解）、RTE（识别文本蕴含）、WiC（上下文中的词，词汇消歧任务）以及WSC（Winograd模式挑战，代词消解任务）。每个任务都旨在对依赖表面模式的模型构成挑战，要求理解句法、语义和世界知识。
与GLUE（包括情感分析等单句任务）不同，SuperGLUE强调涉及多句和复杂推理的任务。例如，WSC任务要求模型根据微妙的上下文线索消解代词，而COPA通过询问在给定前提条件下两个替代方案中哪个更合理来测试因果推理。这些任务来自现有数据集，但SuperGLUE提供了一个统一的评估框架，包含标准化的训练、验证和测试划分。
评分与评估
SuperGLUE使用一个单一的汇总分数，计算为每个任务指标的平均值。对于大多数任务，指标是准确率，但对于MultiRC和ReCoRD，它使用F1分数来考虑多答案设置中的部分得分。该基准还包括一个人类性能基线，通过让人类标注者在与模型相似的条件下完成任务而建立。该基线作为衡量进展的参考点。
为防止过拟合，测试集被保留，提交通过SuperGLUE网站上托管的排行榜进行评估。模型可以使用额外的训练数据，但基准通过报告有无外部数据的结果来鼓励公平比较。评估协议还包括一个诊断集，提供对模型在否定、量化和指代等语言现象上的能力的细粒度分析。
对AI研究的影响
SuperGLUE通过推动更稳健语言模型的发展，对人工智能领域产生了重大影响。发布后不久，BERT及其后继模型便针对SuperGLUE进行了基准测试，揭示了性能差距，从而激发了架构改进。例如，大型语言模型如GPT-2及后来的GPT-3的引入表明，扩大模型规模和训练数据可以在SuperGLUE任务上带来显著提升，尽管即使最大的模型最初在几个任务上也未达到人类表现。
该基准还影响了新训练目标和模型架构的设计。谷歌DeepMind和OpenAI等机构的研究人员使用SuperGLUE来评估多任务学习、对抗训练和外部知识整合等创新。到2021年，包括T5和DeBERTa在内的多个模型取得了超过人类基线的分数，表明该基准已趋于饱和。这导致了更难基准的开发，例如SuperGLUE的后继版本，其侧重于更复杂的推理和生成任务。
局限性与批评
尽管取得了成功，SuperGLUE仍面临批评。一些研究人员认为，该基准的任务虽然具有挑战性，但并未完全捕捉现实世界的语言理解，因为它们主要是多项选择或分类问题。依赖准确率作为主要指标也可能掩盖模型行为上的差异，如校准或对对抗输入的稳健性。此外，该基准仅关注英语，限制了其在多语言环境中的适用性，后来的基准如XGLUE旨在弥补这一差距。
另一个担忧是模型可能利用数据集伪影或偏差，导致分数虚高，而不反映真正的理解。例如，SuperGLUE中的一些任务被发现包含虚假相关性，模型可以在不进行预期推理的情况下利用这些相关性。这促使人们呼吁更严格的评估协议，并开发探测特定能力的诊断数据集。
遗产与后继者
SuperGLUE仍然是自然语言处理社区中被广泛引用的基准，作为评估NLU系统的标准参考。其设计原则，如使用多样化任务和保留测试集，影响了后续基准，如GLUE的后继者、SuperGLUE自身的后继者，以及向多任务评估套件的更广泛趋势。该基准还促进了对模型扩展的更深入理解，正如模型大小与SuperGLUE任务性能之间的相关性所证明的那样。
截至2023年，SuperGLUE被视为一个成熟的基准，许多最先进的模型已超过人类表现。其遗产在于证明了具有挑战性的评估套件对推进神经网络研究的重要性，并强调了基准需要随模型能力演变。未来的基准可能会纳入更多生成性任务、多语言数据和交互式设置，在SuperGLUE奠定的基础上继续发展。