语言可接受性语料库（CoLA）是一个自然语言处理领域的基准数据集，包含10,657个英语句子，每个句子都标注了语法可接受性。该语料库于2018年推出，旨在评估计算模型区分语法正确与不正确句子的能力，这一任务需要深厚的语言学知识。CoLA已成为评估大型语言模型及其他神经网络架构的标准工具，作为语法能力的代理指标。
该数据集由语言学研究人员编制，包含来自语言学文献的句子，涵盖广泛的句法现象。每个句子都带有二元标签，指示其是否为母语者所接受。任务被设定为二元分类问题，模型需预测每个句子的标签。CoLA常与其他基准结合使用，以评估整体语言理解能力，并且是广泛引用的GLUE（通用语言理解评估）套件的组成部分。
构建与标注
CoLA由Alex Warstadt及其同事创建，素材取自已发表的语言学示例和教科书。所选句子旨在说明特定的语法对比，如主谓一致、岛屿约束和照应关系。标注者为受过训练的语言学家，他们按量表判断每个句子的可接受性，随后将结果合并为二元标签。最终语料库包含8,514个训练示例、1,043个开发示例和1,100个测试示例，其中测试集被保留用于官方评估。标注过程强调一致性，通过测量标注者间一致性来确保可靠性。
任务与评估
与CoLA相关的主要任务是将每个句子分类为语法正确（可接受）或语法不正确（不可接受）。性能通常使用马修斯相关系数（MCC）来衡量，该系数考虑了正负示例之间的不平衡。随机基线模型的MCC接近零，而人类表现估计约为0.99。模型在保留的测试集上进行评估，结果常发布在排行榜上。该任务要求模型超越记忆进行泛化，因为许多句子是新颖的，并测试特定的句法规则。
在AI研究中的意义
CoLA在推进人工智能和机器学习中语法知识研究方面发挥了关键作用。它提供了一个受控环境，用以探究模型是否学习了抽象的句法模式，而非仅仅依赖统计规律。研究表明，基于Transformer的模型，如使用多头注意力的模型，能在CoLA上取得高分，但往往依赖表面线索。这引发了关于神经模型中语言知识本质的讨论。CoLA还用于评估训练数据规模、模型架构和微调策略对语法能力的影响。
与其他基准的关系
CoLA是GLUE基准的一部分，该基准包含九项任务，涵盖自然语言推理、情感分析和问答。在GLUE中，CoLA被视为语法性的诊断任务，与斯坦福情感树库和多体裁自然语言推理语料库等任务互补。该基准在比较各种模型性能方面发挥了重要作用，包括早期的深度学习方法和后来的大规模预训练方法。CoLA对可接受性的关注使其区别于强调语义或语用理解的其他任务，使其成为句法处理的独特探针。
局限性与批评
尽管CoLA被广泛使用，但它存在局限性。二元标签过度简化了可接受性的梯度性质，因为有些句子处于勉强可接受的边缘。该语料库仅限于英语，且示例来自正式语言学文献，可能无法反映日常用法。批评者认为，在CoLA上取得高分并不一定表明模型具备类似人类的语法能力，因为模型可能利用虚假相关性。此外，测试集规模较小，可能导致评估结果的高方差。研究人员已提出扩展方案，如多语言可接受性语料库，以解决其中一些问题。