GLUE基准（通用语言理解评估）是一个包含九项自然语言理解任务的集合，于2018年推出，旨在评估和比较机器学习模型的性能。它被设计为提供单一标准化指标，用于评估模型在多种语言现象上的理解能力，包括单句任务、相似性和释义任务，以及推理任务。该基准迅速成为人工智能领域的标准参考点，推动了神经网络架构和大型语言模型的快速发展。
该基准由学术界和工业界研究人员组成的联盟创建，贡献者包括纽约大学、华盛顿大学和深度思维等机构。其主要目标是解决自然语言处理中评估方法碎片化的问题，此前模型常常在指标不兼容的独立数据集上被测试。通过将九项不同任务聚合到单一排行榜中，GLUE实现了模型能力的直接比较，并突出了现有方法在人类表现上的不足之处。
任务与结构
GLUE包含九项任务，涵盖三大类别。单句任务包括语言可接受性语料库（CoLA），用于测试语法可接受性，以及斯坦福情感树库（SST-2），用于衡量二元情感分类。相似性和释义任务包括微软研究释义语料库（MRPC）、Quora问题对（QQP）数据集和语义文本相似性基准（STS-B），这些任务均评估模型判断两个句子是否表达相同含义的能力。推理任务包括多体裁自然语言推理语料库（MNLI）、问答式自然语言推理（QNLI）、识别文本蕴含（RTE）数据集和Winograd自然语言推理（WNLI）任务，后者测试共指消解和常识推理能力。
每项任务都有其自身的评估指标，如准确率、F1分数或皮尔逊相关系数，而GLUE总分是所有这些任务指标的平均值。该基准还包含一个诊断数据集，旨在独立于主要任务，探测特定语言能力，如词汇语义、逻辑和谓词-论元结构。这一诊断组件旨在提供比总分更细粒度的模型优缺点洞察。
对模型发展的影响
GLUE的引入恰逢深度学习和Transformer架构快速创新的时期。排行榜上的早期提交基于循环和卷积网络，得分在60-70%范围内，远低于估计的87.1人类基线。2018年底基于Transformer的BERT模型的发布标志着一个转折点，它在基准上超过了80%，并展示了在大规模文本语料库上进行预训练，随后针对特定任务进行微调的有效性。这种方法被称为迁移学习，成为自然语言处理中的主导范式。
后续模型，包括RoBERTa、XLNet和ALBERT，通过训练目标、模型大小和数据效率方面的创新，各自将GLUE得分推得更高。到2020年，多个模型在总分上已超过人类基线，尽管在个别任务（尤其是WNLI）上的表现仍具挑战性。该基准的流行也推动了2019年SuperGLUE基准的开发，后者引入了更困难的任务，以应对原始GLUE排行榜的饱和问题。
批评与局限性
尽管被广泛采用，GLUE仍面临研究人员的批评。一个主要担忧是，该基准的任务相对狭窄，未能捕捉真实世界语言理解的完整复杂性，如长程推理、对话或多模态理解。特别是WNLI任务，因数据泄漏问题被发现存在缺陷，导致许多团队将其视为近乎不可能完成的挑战，并将精力集中在其他八项任务上。此外，总分可能掩盖任务间的性能差异，在GLUE上表现优异的模型可能仍难以应对分布外输入或对抗性示例。
另一个局限性是可能对公开排行榜过拟合，即模型被调整以最大化特定测试集上的得分。为缓解这一问题，GLUE组织者引入了私有测试集，要求通过排行榜提交，但这并不能完全消除针对基准的优化风险。这些担忧推动了更全面和动态的评估框架的开发，如SuperGLUE以及后来的MMLU和HELM等基准，旨在评估更广泛的能力和鲁棒性。
遗产与持续相关性
GLUE在推进机器学习和生成式人工智能方面发挥了关键作用，为研究人员提供了清晰、量化的目标。它帮助普及了预训练和微调范式，这一范式支撑着现代大型语言模型，包括由OpenAI和谷歌深度思维等组织开发的模型。该基准还影响了商业AI产品评估套件的设计，因为公司寻求使用标准化指标来展示其模型的语言理解能力。
尽管原始GLUE排行榜不再是先进模型的主要基准，但其方法论和任务在学术研究和模型开发中仍被广泛使用。这些数据集继续作为训练和评估资源，且该基准对多任务评估的强调已被后续倡议以各种形式采纳。截至2025年，GLUE仍在众多论文和技术报告中被引用，作为比较新架构和训练技术的基线，凸显了其对自然语言处理领域的持久影响。