GLUE(General Language Understanding Evaluation)是一个基准测试套件，由纽约大学、华盛顿大学和DeepMind的研究人员于2018年推出。它旨在评估和比较机器学习模型在一系列不同的自然语言理解(NLU)任务上的表现，其目标是鼓励开发能够处理多种任务而无需特定任务工程的通用模型。该基准迅速成为人工智能和机器学习领域，尤其是深度学习和神经网络研究中的标准参考点。
该基准由九个任务组成，涵盖三个主要类别：单句任务、相似性和释义任务，以及推理任务。单句任务包括CoLA(语言可接受性语料库)，用于测试语法可接受性，以及SST-2(斯坦福情感树库)，用于测试情感分析。相似性和释义任务包括MRPC(微软研究释义语料库)、QQP(Quora问题对)和STS-B(语义文本相似性基准)。推理任务包括MNLI(多类型自然语言推理)、QNLI(问答自然语言推理)、RTE(识别文本蕴含)和WNLI(维诺格拉德自然语言推理)。每个任务都有其自身的评估指标，例如准确率、F1分数或皮尔逊相关系数，而GLUE的总分则是所有这些指标的平均值。
历史与动机
GLUE是在2018年由Alex Wang、Amanpreet Singh、Julian Michael、Felix Hill、Omer Levy和Samuel R. Bowman发表的论文《GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding》中提出的。作者认为，现有的基准往往过于狭窄，使得模型容易过拟合到特定数据集。GLUE旨在通过包含需要不同语言知识(如句法、语义和常识)的任务来提供更全面的评估。该基准还包含一个公开的排行榜，允许研究人员透明地比较他们的模型。
GLUE的推出恰逢大型语言模型快速发展的时期。在其发布后不久，基于Transformer架构的模型(如谷歌的BERT)开始主导排行榜。BERT在GLUE上的成功帮助推广了预训练和微调范式，即先在大型语料库上训练模型，然后针对特定任务进行微调。这种方法成为OpenAI、Anthropic和Google DeepMind等组织开发的后续模型的基础。
任务与评估
GLUE中的九个任务被选中以覆盖不同的难度和语言现象。例如，CoLA要求模型判断一个句子在语法上是否可接受，这测试了句法知识。SST-2涉及从电影评论中进行二元情感分类。MRPC和QQP是释义检测任务，模型必须判断两个句子是否含义相同。STS-B是一个回归任务，在0到1的尺度上对语义相似性进行评分。
对于推理任务，MNLI是最大的一个，包含超过40万个句子对，涵盖多种文体，要求模型对蕴含、矛盾或中性关系进行分类。QNLI是一个将问答任务重构为蕴含任务的任务，模型必须判断一个句子是否包含问题的答案。RTE是一个较小的蕴含任务，源自新闻和维基百科。WNLI是一个基于维诺格拉德模式挑战的代词消解任务，但后来发现其存在数据泄漏问题，导致许多模型在该任务上仅能达到随机性能。
评估指标各不相同：CoLA使用马修斯相关系数，SST-2和QNLI使用准确率，MRPC和QQP使用F1分数，STS-B使用皮尔逊和斯皮尔曼相关系数，而MNLI、RTE和WNLI使用准确率。GLUE的最终得分是这些指标的平均值，每个任务权重相同。
影响与局限
GLUE通过提供一个通用基准来比较模型，对该领域产生了重大影响。它推动了自然语言处理研究的进步，其排行榜成为学术界和工业界实验室竞争的平台。该基准还促进了多任务学习方法的发展，并为NLP中迁移学习的兴起做出了贡献。
然而，GLUE也面临批评。一些研究人员指出，该基准可能被那些记忆训练数据模式而非真正理解语言的模型所利用。WNLI任务尤其存在问题，因为后来发现其测试集与训练集的对齐不当，使得模型几乎无法在该任务上表现良好。作为回应，GLUE团队于2019年发布了修订版SuperGLUE，其中包含了更困难的任务并解决了其中一些问题。
遗产与后继者
尽管存在局限性，GLUE仍然是一个被广泛引用的基准，常被用作评估新模型的基线。其继任者SuperGLUE引入了需要更复杂推理的任务，如多句推理和阅读理解。这两个基准都对生成式人工智能系统的评估产生了影响，尽管更新的基准如MMLU和HELM已经出现，以解决更广泛的能力问题。
GLUE的设计也启发了其他领域的类似基准，例如用于跨语言理解的XGLUE和用于中文的CLUE。该基准对多任务评估的重视已成为该领域的标准实践，其公开排行榜模式也被许多后续工作所采用。
参见
参考文献
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv preprint arXiv:1804.07461.
- Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., ... & Bowman, S. R. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv preprint arXiv:1905.00537.