CLUE(Chinese Language Understanding Evaluation)是一个基准测试套件，旨在评估自然语言理解模型在中文文本上的性能。该基准于2020年推出，提供了一套标准化的任务，用于评估模型处理中文语言处理各个方面的能力，包括文本分类、自然语言推理和阅读理解。CLUE已成为研究者和开发者在中文Natural language processing模型方面广泛采用的参考点，其作用类似于GLUE和SuperGLUE之于英语。
该基准的创建是为了解决中文缺乏全面评估工具的问题，中文具有独特的语言特征，例如没有词边界以及丰富的汉字和习语系统。CLUE汇集了多个数据集，每个数据集针对特定的语言理解技能，并提供了一个排行榜来跟踪模型随时间的进展。它在推动中文Large language model和其他Deep learning方法的改进方面发挥了重要作用。
任务组成
CLUE由九个不同的任务组成，每个任务源自现有的中文NLP数据集。这些任务涵盖了不同难度和语言现象。核心任务包括：
- TNEWS：基于新闻标题的短文本分类任务，要求模型将文本分类到15个主题类别中。
- IFLYTEK：具有119个类别的长文本分类任务，数据来源于用户生成的应用描述，测试处理嘈杂、非正式文本的能力。
- CMNLI：自然语言推理任务，模型必须判断假设是否蕴含、矛盾或与前提中立，基于中文多体裁NLI语料库。
- OCNLI：另一个推理任务，源自原始中文NLI数据集，侧重于更具挑战性的推理场景。
- CLUEWSC2020：基于Winograd模式类句子的指代消解任务，需要常识推理来解决代词指代。
- CSL：关键词识别任务，模型识别给定关键词是否出现在科学论文摘要中，测试领域特定理解能力。
- DRCD：基于SQuAD风格数据集中文版本的抽取式问答阅读理解任务。
- CMRC2018：另一个阅读理解任务，侧重于从中文段落中进行跨度提取。
- CHID：完形填空式任务，模型从一组候选中选择正确的习语来填空，测试中文习语知识。
每个任务旨在探测不同的能力，从基本分类到复杂推理，提供对模型中文理解能力的整体评估。
评分与排行榜
CLUE提供了统一的评分机制，每个任务都有特定的指标。对于分类任务，使用准确率；对于推理任务，准确率也是主要指标；对于阅读理解，报告F1分数和精确匹配。CLUE总分计算为各个任务分数的平均值，允许模型之间直接比较。官方排行榜托管在CLUE网站上，根据此平均分数对提交进行排名，鼓励竞争性开发。
自推出以来，排行榜一直稳步提升。基于Transformer (architecture)架构(如BERT)的早期模型得分在60-70范围内，而更近期的Large language model已将得分推高至90以上，反映了中文NLP的重大进展。该基准还通过添加额外任务(如用于方面级情感分析的CLUE-ABSA)进行了更新，以跟上不断发展的研究需求。
影响与使用
CLUE对中文NLP社区产生了重大影响。它作为学术研究的标准评估工具，许多论文报告CLUE任务的结果以展示模型有效性。它也被工业界用于基准测试商业模型和指导产品开发。例如，中国科技公司和研究机构经常使用CLUE在部署前验证其专有模型。
该基准还促进了中文特定模型架构和训练技术的发展。例如，结合全词掩码和知识增强预训练的模型(如RoBERTa-wwm-ext和ERNIE)在开发时考虑了CLUE。这些任务还强调了处理中文特定挑战的重要性，例如分词粒度和习语使用，从而推动了Tokenization和Data Augmentation方面的创新。
局限性与批评
尽管广受欢迎，CLUE仍面临批评。一些研究者认为这些任务相对狭窄，未能完全捕捉真实世界中文语言理解的复杂性。该基准主要侧重于分类和抽取式任务，对生成式任务(如摘要或对话)的覆盖有限。此外，数据集可能包含模型可利用的偏见或伪影，导致得分虚高，不能反映真正的泛化能力。
另一个局限性是该基准的静态性质。随着模型的改进，任务可能变得饱和，使得难以区分顶级系统。为解决此问题，CLUE团队定期引入新任务和更难版本，但模型开发的速度往往超过这些更新。还有人指出，排行榜鼓励对特定数据集的过拟合，而不是培养稳健、可泛化的模型。
未来方向
CLUE的未来可能涉及扩展到更多样化和更具挑战性的任务，包括生成式和多轮对话理解。也有推动更动态基准的努力，以适应模型能力，类似于英语superglue的努力。随着中文Large language model的持续发展，CLUE需要与之共同演进，确保其仍然是社区相关且严格的评估标准。