言語受容性コーパス（CoLA）は、自然言語処理におけるベンチマークデータセットであり、10,657の英語文から構成され、各文には文法的受容性のラベルが付与されている。このコーパスは2018年に導入され、計算モデルが文法的な文と非文法的な文を区別する能力を評価するために設計された。このタスクは深い言語知識を必要とする。CoLAは、大規模言語モデルやその他のニューラルネットワークアーキテクチャの標準的な評価ツールとなり、文法的能力の代理指標として機能している。
このデータセットは言語学研究者によって編纂され、言語学文献から抽出された文を含み、幅広い統語現象を網羅している。各文には、ネイティブスピーカーにとって受容可能かどうかを示す二値ラベルが付与されている。タスクは二値分類問題として構成され、モデルは各文のラベルを予測する必要がある。CoLAは、一般的な言語理解を評価するために他のベンチマークと併用されることが多く、広く引用されるGLUE（General Language Understanding Evaluation）スイートの構成要素でもある。
構築とアノテーション
CoLAは、Alex Warstadtとその共同研究者によって作成され、出版された言語学の例や教科書から文が抽出された。文は、主語と動詞の一致、島の制約、照応などの特定の文法的対比を例示するために選ばれた。訓練を受けた言語学者であるアノテーターは、各文の受容性を尺度上で判定し、後に二値ラベルに変換した。最終的なコーパスには、8,514の訓練例、1,043の開発例、1,100のテスト例が含まれ、テストセットは公式評価のために保留されている。アノテーションプロセスは一貫性を重視し、信頼性を確保するためにアノテーター間の一致度が測定された。
タスクと評価
CoLAに関連する主要なタスクは、各文を文法的（受容可能）または非文法的（受容不可能）に分類することである。性能は通常、マシューズ相関係数（MCC）を用いて測定され、これは正例と負例の不均衡を考慮する。ランダムなベースラインはMCCがほぼゼロに近く、人間の性能は約0.99と推定されている。モデルは保留されたテストセットで評価され、結果はリーダーボードで報告されることが多い。このタスクは、多くの文が新規であり特定の統語規則をテストするため、モデルが記憶を超えて一般化することを要求する。
AI研究における重要性
CoLAは、人工知能と機械学習における文法的知識の研究を進展させる上で重要な役割を果たしてきた。これは、モデルが単なる統計的規則性ではなく、抽象的な統語パターンを学習したかどうかを調べるための制御された環境を提供する。研究により、トランスフォーマーベースのモデル、例えばマルチヘッドアテンションを使用するモデルは、CoLAで高いスコアを達成できるが、しばしば表面的な手がかりに依存することが示されている。これは、ニューラルモデルにおける言語知識の性質に関する議論を引き起こしている。CoLAはまた、訓練データサイズ、モデルアーキテクチャ、微調整戦略が文法的能力に与える影響を評価するためにも使用される。
他のベンチマークとの関係
CoLAは、自然言語推論、感情分析、質問応答をカバーする9つのタスクを含むGLUEベンチマークの一部である。GLUE内では、CoLAは文法性の診断タスクと見なされ、スタンフォード感情ツリーバンクやマルチジャンル自然言語推論コーパスなどのタスクを補完する。このベンチマークは、初期の深層学習アプローチから後の大規模事前学習手法まで、さまざまなモデルの性能比較に役立ってきた。CoLAの受容性への焦点は、意味的または語用論的理解を強調する他のタスクとは異なり、統語処理の独自のプローブとなっている。
限界と批判
広く使用されているにもかかわらず、CoLAには限界がある。二値ラベルは、受容性の段階的性質を過度に単純化しており、一部の文は限界的に受容可能である。コーパスは英語に限定されており、その例は形式言語学の文献から抽出されているため、日常的な使用を反映していない可能性がある。批評家は、CoLAでの高い性能が必ずしも人間に似た文法的能力を示すわけではなく、モデルが疑似相関を利用する可能性があると主張している。さらに、テストセットは小さく、評価結果に高い分散をもたらす可能性がある。研究者は、多言語受容性コーパスなどの拡張を提案して、これらの問題の一部に対処している。