语言可接受性语料库（Corpus of Linguistic Acceptability，简称CoLA）是一个基准数据集，旨在评估人工神经网络（包括大型语言模型）判断英语句子语法正确性的能力。该数据集包含从已发表的语言学文献中提取的10，657个句子，每个句子均被人工标注为“符合语法”或“不符合语法”。该数据集作为衡量模型对句法良好性敏感度的标准测试，这一任务不同于语义理解或事实回忆。
CoLA的引入旨在为机器学习系统中的语言知识探针提供一个大规模、可靠的资源。其句子涵盖了广泛的句法现象，包括主谓一致、岛屿约束和论元结构，为那些主要基于自然文本训练的模型提出了严格的挑战。标注结果反映了来自学术来源的母语者判断，为可接受性提供了一致的事实依据。
数据集构成
完整的CoLA数据集包含10，657个句子，每个句子都配有一个二元标签，指示其可接受性。这些句子源自已发表的语言学研究，确保它们代表了多样且往往细微的语法对比。CoLA的公开版本包含9，594个句子，分为训练集和开发集。其余1，063个句子保留为未公开的测试集，以防止过拟合并确保公平评估。
数据集中的每个句子都附有元数据，包括其来源出版物及其所说明的具体语言现象。这种结构使研究人员能够分析模型在不同语法类别上的表现。二元标注简化了任务，但可接受性判断的内在复杂性意味着即使是人工标注者也可能在边缘案例上产生分歧，这一细微差别反映在数据集的设计中。
在NLP评估中的作用
CoLA已成为自然语言处理中广泛使用的基准，特别是在评估基于Transformer (architecture)的模型的语言能力方面。它被纳入GLUE基准，该基准是一组衡量通用语言理解能力的任务集合。在GLUE中，CoLA测试模型的语法判断能力，与情感分析和文本蕴含等任务形成互补。CoLA上的性能通常以马修斯相关系数报告，该系数考虑了语法正确与不正确示例之间的不平衡。
对于像OpenAI、Anthropic和Google DeepMind开发的大型语言模型，CoLA提供了一种受控的句法能力衡量标准。与生成任务不同，CoLA要求明确的二元决策，这使得更容易将模型的语法知识与流畅性分离开来。然而，模型在CoLA上的表现往往不如在其他GLUE任务上，这凸显了捕捉细微可接受性判断的难度。
应用与局限性
研究人员使用CoLA来比较不同架构的语言能力，包括神经网络和深度学习系统。它在研究模型是学习抽象语法规则还是依赖训练数据中的统计模式方面发挥了重要作用。研究表明，CoLA上的表现与模型大小和训练数据相关，但即使是最先进的系统在处理罕见或复杂结构时也会遇到困难。
该数据集的局限性包括其依赖于来自学术来源的书面、正式句子，这可能无法反映日常语言使用。此外，二元标签方案过度简化了可接受性的渐变性质，因为有些句子处于勉强可接受的边缘。尽管存在这些限制，CoLA仍然是评估人工智能研究中语法判断的标准参考。
相关基准与扩展
CoLA启发了其他探针语言能力不同方面的类似数据集和扩展。例如，BLiMP基准通过最小对提供了更广泛的句法现象，而SuperGLUE套件则包含了更具挑战性的任务。这些资源通过提供更细粒度的诊断来补充CoLA。该数据集的方法论，即利用已发表的语言学文献，已被其他语言采用，尽管英语仍然是主要焦点。
截至2020年代初，CoLA仍然是学术和工业研究中的标准评估工具。它被整合到广泛使用的基准中，确保了其持续的相关性，即使新数据集不断涌现。未公开的测试集虽然无法访问，但鼓励了诚实的报告并防止了基准游戏，这种做法在该领域变得越来越重要。