Le Corpus of Linguistic Acceptability (CoLA) est un ensemble de données de référence en traitement automatique des langues, composé de 10 657 phrases anglaises, chacune étiquetée pour son acceptabilité grammaticale. Le corpus a été introduit en 2018 pour évaluer la capacité des modèles computationnels à distinguer les phrases grammaticales des phrases non grammaticales, une tâche qui exige une connaissance linguistique approfondie. CoLA est devenu un outil d'évaluation standard pour les grands modèles de langage et d'autres architectures de réseaux de neurones, servant de proxy pour la compétence grammaticale.
L'ensemble de données a été compilé par des chercheurs en linguistique et comprend des phrases tirées de la littérature linguistique, couvrant un large éventail de phénomènes syntaxiques. Chaque phrase est annotée avec une étiquette binaire indiquant si elle est acceptable pour un locuteur natif. La tâche est formulée comme un problème de classification binaire, où les modèles doivent prédire l'étiquette pour chaque phrase. CoLA est souvent utilisé conjointement avec d'autres références pour évaluer la compréhension générale du langage, et il fait partie de la suite GLUE (General Language Understanding Evaluation), largement citée.
Construction et annotation
CoLA a été créé par Alex Warstadt et ses collègues, en s'appuyant sur des exemples linguistiques publiés et des manuels. Les phrases ont été sélectionnées pour illustrer des contrastes grammaticaux spécifiques, tels que l'accord sujet-verbe, les contraintes d'îlots et l'anaphore. Les annotateurs, qui étaient des linguistes formés, ont jugé chaque phrase pour son acceptabilité sur une échelle, qui a ensuite été réduite à des étiquettes binaires. Le corpus final contient 8 514 exemples d'entraînement, 1 043 exemples de développement et 1 100 exemples de test, l'ensemble de test étant réservé pour une évaluation officielle. Le processus d'annotation a mis l'accent sur la cohérence, avec une mesure de l'accord entre annotateurs pour garantir la fiabilité.
Tâche et évaluation
La tâche principale associée à CoLA consiste à classer chaque phrase comme grammaticale (acceptable) ou non grammaticale (inacceptable). La performance est généralement mesurée à l'aide du coefficient de corrélation de Matthews (MCC), qui tient compte du déséquilibre entre les exemples positifs et négatifs. Une ligne de base aléatoire atteindrait un MCC proche de zéro, tandis que la performance humaine est estimée à environ 0,99. Les modèles sont évalués sur l'ensemble de test réservé, et les résultats sont souvent rapportés sur des classements. La tâche exige que les modèles généralisent au-delà de la mémorisation, car de nombreuses phrases sont nouvelles et testent des règles syntaxiques spécifiques.
Importance dans la recherche en IA
CoLA a joué un rôle crucial dans l'avancement de la recherche sur la connaissance grammaticale en intelligence artificielle et en apprentissage automatique. Il fournit un environnement contrôlé pour sonder si les modèles ont appris des schémas syntaxiques abstraits, plutôt que de simples régularités statistiques. Des études ont montré que les modèles basés sur les transformeurs, tels que ceux utilisant l'attention multi-têtes, peuvent atteindre des scores élevés sur CoLA, mais ils s'appuient souvent sur des indices de surface. Cela a conduit à des débats sur la nature de la connaissance linguistique dans les modèles neuronaux. CoLA est également utilisé pour évaluer l'impact de la taille des données d'entraînement, de l'architecture du modèle et des stratégies de réglage fin sur la compétence grammaticale.
Relation avec d'autres références
CoLA fait partie de la référence GLUE, qui comprend neuf tâches couvrant l'inférence en langage naturel, l'analyse des sentiments et la réponse aux questions. Au sein de GLUE, CoLA est considéré comme une tâche de diagnostic pour la grammaticalité, complétant des tâches comme le Stanford Sentiment Treebank et le corpus Multi-Genre Natural Language Inference. La référence a été déterminante pour comparer les performances de divers modèles, y compris les premières approches de apprentissage profond et les méthodes ultérieures de pré-entraînement à grande échelle. L'accent mis par CoLA sur l'acceptabilité le distingue des autres tâches qui mettent l'accent sur la compréhension sémantique ou pragmatique, ce qui en fait une sonde unique du traitement syntaxique.
Limites et critiques
Malgré son utilisation répandue, CoLA présente des limites. L'étiquetage binaire simplifie à l'excès la nature graduelle de l'acceptabilité, car certaines phrases sont marginalement acceptables. Le corpus est également limité à l'anglais, et ses exemples sont tirés de la littérature linguistique formelle, qui peut ne pas refléter l'usage quotidien. Les critiques soutiennent qu'une performance élevée sur CoLA n'indique pas nécessairement une compétence grammaticale semblable à celle des humains, car les modèles peuvent exploiter des corrélations fallacieuses. De plus, l'ensemble de test est petit, ce qui peut entraîner une variance élevée dans les résultats d'évaluation. Les chercheurs ont proposé des extensions, telles que des corpus d'acceptabilité multilingues, pour remédier à certains de ces problèmes.