SuperGLUE诊断集是一个精选的示例集合，用于评估和分析自然语言理解系统的能力。它由Google DeepMind、OpenAI及其他机构的研究人员于2019年与SuperGLUE基准一同推出。该诊断集旨在探测特定的语言和推理现象，提供对模型优缺点的细粒度分析，超越聚合基准分数。
该诊断集包含约10,000个示例，每个示例标注了来自26个类别分类法中的一个或多个现象，包括指代消解、逻辑谬误和世界知识。与SuperGLUE主要任务不同，该诊断集不用于训练，仅用于评估。模型根据准确率进行评分，并与人类表现进行校准，使研究人员能够比较模型在不同推理维度上的行为。
设计与目的
该诊断集旨在解决标准基准的局限性，这些基准常常混淆多种技能，且模型可能通过利用数据集伪影来钻空子。通过隔离个别现象，诊断集对模型的底层能力提供了更受控的测试。例如，一个模型可能在识别文本蕴含（RTE）任务上表现良好，但在需要时间推理的示例上失败，诊断集可以突出此类差距。
现象分类法由专家制定，包括共指消解、否定、量化、单调性和预设等类别。每个示例是一个短文本对（前提和假设），带有蕴含、矛盾或中立的标签，类似于自然语言推理任务。然而，诊断集还包括多标签标注，允许单个示例同时测试多个现象。
与SuperGLUE的关系
SuperGLUE是一个由八个任务组成的基准套件：BoolQ、CB、COPA、MultiRC、ReCoRD、RTE、WiC和WSC。诊断集是第九个组成部分，但不计入主排行榜的评分。相反，它作为辅助评估工具。官方SuperGLUE分数是八个任务分数的平均值，而诊断集提供单独的细分。这种设计鼓励研究人员优化整体性能，同时理解模型局限。
诊断集在原始SuperGLUE论文中用于比较人类表现与多个基线模型，包括BERT和GPT-2。人类在诊断集上的准确率约为89%，而当时最佳模型达到约70%，凸显了显著的改进空间。
研究中的应用
自发布以来，SuperGLUE诊断集已被机器学习社区广泛采用。它已用于评估T5、RoBERTa等模型，以及后来的大型语言模型，如GPT-3和GPT-4。研究人员通常将诊断结果与主基准分数一起报告，以提供对模型能力的更细致描述。
诊断集还影响了其他评估套件的开发，例如Beyond the Imitation Game基准（BIG-bench），该基准同样旨在探测广泛的能力。然而，SuperGLUE诊断集仍然是自然语言处理中细粒度分析的标准工具。
局限与批评
一些研究人员指出，诊断集虽然有用，但并非详尽无遗。分类法涵盖了许多现象，但未包括语言理解的所有可能方面。此外，诊断示例相对较短，可能无法捕捉长距离依赖或复杂的篇章结构。随着模型的改进，诊断集可能趋于饱和，许多模型达到接近人类的表现，从而降低其区分能力。
尽管存在这些局限，SuperGLUE诊断集在推动自然语言理解进展方面发挥了重要作用。它提供了一种透明且可解释的方式来评估模型行为，补充了聚合基准。
参见
- SuperGLUE
- GLUE
- 自然语言推理
- 人工智能评估