GLUE（通用语言理解评估）是一个基准测试套件，由纽约大学、华盛顿大学和DeepMind的研究人员于2018年推出。它旨在评估和比较机器学习模型在一系列多样化的自然语言理解（NLU）任务上的表现，目标是鼓励开发能够处理多种任务而无需特定任务工程的全能型模型。该基准迅速成为人工智能和机器学习领域的标准参考点，尤其是在深度学习和神经网络研究中。
该基准由九个任务组成，涵盖三大类：单句任务、相似性与释义任务，以及推理任务。单句任务包括CoLA（语言可接受性语料库），测试语法可接受性，以及SST-2（斯坦福情感树库），测试情感分析。相似性与释义任务包括MRPC（微软研究释义语料库）、QQP（Quora问题对）和STS-B（语义文本相似性基准）。推理任务包括MNLI（多体裁自然语言推理）、QNLI（问题自然语言推理）、RTE（识别文本蕴含）和WNLI（Winograd自然语言推理）。每个任务都有其自身的评估指标，如准确率、F1分数或皮尔逊相关系数，而整体GLUE分数是所有这些指标的平均值。
历史与动机
GLUE在2018年的一篇论文中提出，题为“GLUE：自然语言理解的多任务基准与分析平台”，作者为Alex Wang、Amanpreet Singh、Julian Michael、Felix Hill、Omer Levy和Samuel R. Bowman。作者认为，现有基准往往过于狭窄，允许模型对特定数据集过拟合。GLUE旨在通过包含需要不同类型语言知识（如句法、语义和常识）的任务，提供更全面的评估。该基准还包括一个公开排行榜，使研究人员能够透明地比较他们的模型。
GLUE的推出恰逢大型语言模型快速发展的时期。发布后不久，基于Transformer (architecture)架构的模型（如Google的BERT，即双向编码器表示来自变换器）开始主导排行榜。BERT在GLUE上的成功帮助推广了预训练和微调范式，即先在大型文本语料库上训练模型，然后针对特定任务进行调整。这种方法成为OpenAI、Anthropic和Google DeepMind等组织开发的后续模型的基础。
任务与评估
GLUE中的九个任务旨在涵盖各种难度和语言现象。例如，CoLA要求模型判断句子在语法上是否可接受，这测试了句法知识。SST-2涉及从电影评论中进行二元情感分类。MRPC和QQP是释义检测任务，模型必须确定两个句子是否具有相同含义。STS-B是一个回归任务，以0到5的等级对语义相似性进行评分。
在推理任务中，MNLI是最大的，包含超过40万个跨多种体裁的句子对，要求模型分类蕴含、矛盾或中立。QNLI是一个重新表述为蕴含任务的问答任务，模型必须确定句子是否包含问题的答案。RTE是一个较小的蕴含任务，源自新闻和维基百科。WNLI是一个基于Winograd模式挑战的代词解析任务，但后来发现由于数据泄漏问题而存在缺陷，许多模型在其上仅达到随机性能。
评估指标各不相同：CoLA使用马修斯相关系数，SST-2和QNLI使用准确率，MRPC和QQP使用F1分数，STS-B使用皮尔逊和斯皮尔曼相关系数，而MNLI、RTE和WNLI使用准确率。最终GLUE分数是这些指标的平均值，每个任务权重相等。
影响与局限性
GLUE通过提供通用基准来比较模型，对该领域产生了重大影响。它帮助推动了自然语言处理研究的进步，其排行榜成为学术和工业实验室的竞争舞台。该基准还促进了多任务学习方法的发展，并推动了NLP中迁移学习的兴起。
然而，GLUE也面临批评。一些研究人员指出，该基准可能被模型通过记忆训练数据中的模式而非真正理解语言来利用。WNLI任务尤其问题重重，因为后来发现测试集包含与训练数据未正确对齐的示例，使得模型几乎不可能表现良好。作为回应，GLUE团队于2019年发布了修订版SuperGLUE，其中包含更困难的任务并解决了其中一些问题。
遗产与后继者
尽管存在局限性，GLUE仍然是一个被广泛引用的基准，常用于评估新模型的基线。其继任者SuperGLUE引入了需要更复杂推理的任务，如多句推理和阅读理解。这两个基准在塑造生成式AI系统的评估方面都具有影响力，尽管MMLU和HELM等更新基准已出现以解决更广泛的能力。
GLUE的设计还启发了其他领域的类似基准，如用于跨语言理解的XGLUE和用于中文的CLUE。该基准对多任务评估的强调已成为该领域的标准实践，其公开排行榜模式已被许多后续工作采用。
参见
参考文献
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv preprint arXiv:1804.07461.
- Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., ... & Bowman, S. R. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv preprint arXiv:1905.00537.