Le Penn Treebank (PTB) est un corpus de textes anglais annotés avec des étiquettes de parties du discours et des arbres syntaxiques à structure de phrases. Développé à l'université de Pennsylvanie au début des années 1990, il est devenu une référence standard pour l'entraînement et l'évaluation des systèmes de traitement automatique des langues (TAL). Le nom « Treebank » fait référence aux structures d'analyse hiérarchiques, ou arbres, qui encodent les relations grammaticales entre les mots d'une phrase.
Les premières versions se concentraient sur la section Wall Street Journal (WSJ) du corpus ACL Anthology, comprenant environ 1 million de mots de textes journalistiques. Les versions ultérieures se sont étendues à d'autres genres, tels que les conversations téléphoniques transcrites, les journaux télévisés et les textes web. Le schéma d'annotation du PTB utilise un ensemble de 36 étiquettes de parties du discours (par exemple, NN pour les noms singuliers, VBD pour les verbes au passé) et un ensemble de catégories phrasales (par exemple, NP, VP, PP) avec des étiquettes pour les fonctions grammaticales comme le sujet et l'objet.
Construction et annotation
Le PTB a été construit par une équipe dirigée par Mitchell Marcus à l'université de Pennsylvanie, avec des contributions de chercheurs comme Beatrice Santorini et Mary Ann Marcinkiewicz. Le processus d'annotation impliquait deux étapes principales : l'étiquetage des parties du discours et le parenthésage syntaxique. Les annotateurs humains attribuaient d'abord des étiquettes à chaque token, suivis d'une passe séparée pour créer les limites des phrases. Le livre de directives, communément appelé « Bracketing Guidelines », spécifiait des règles détaillées pour traiter la ponctuation, la coordination et d'autres phénomènes linguistiques.
Le corpus a été publié progressivement à partir de 1993. La première distribution publique, le Penn Treebank-1 (PTB-1), comprenait 4,5 millions de mots de textes analysés dans divers genres. Une version plus largement citée, le Penn Treebank-3 (PTB-3), publiée en 1999, a affiné les annotations et ajouté les sections WSJ qui sont devenues la norme de facto pour de nombreuses tâches de TAL. La date exacte de la première publication était mars 1993, selon le catalogue du LDC.
Impact sur la recherche en TAL
Le PTB est devenu une pierre angulaire pour la recherche sur l'étiquetage des parties du discours et l'analyse syntaxique. Dans les années 1990 et 2000, des évaluations compétitives telles que les tâches partagées CoNLL utilisaient des ensembles de données dérivés du PTB, stimulant les progrès en analyse statistique avec des modèles comme les grammaires probabilistes sans contexte (PCFG) et les analyseurs lexicalisés. Par exemple, l'analyseur d'Eugene Charniak et le Stanford Parser étaient souvent rapportés avec des précisions sur les ensembles de test du PTB.
Au-delà de l'analyse syntaxique, les sections WSJ du PTB ont été réutilisées pour de nombreuses autres tâches, y compris la reconnaissance d'entités nommées et l'étiquetage des rôles sémantiques. Le corpus a également informé le développement de NLTK et spaCy en fournissant des annotations de référence pour l'entraînement et l'évaluation. Les approches modernes de apprentissage automatique en apprentissage profond, telles que les réseaux de neurones récurrents et les transformeurs, rapportent encore des valeurs de perplexité ou de précision sur les données du PTB, bien que son utilisation ait diminué à l'ère des grands modèles de langage pré-entraînés.
Benchmark standard et variantes
Un cadre expérimental courant est le benchmark de modélisation du langage au niveau du mot du PTB, où les divisions d'entraînement, de validation et de test correspondent respectivement aux sections WSJ 0-20, 21-22 et 23-24. Cette division, établie par Tomáš Mikolov et ses collègues en 2010, a permis des comparaisons reproductibles entre les modèles. Le benchmark consiste à prédire le mot suivant étant donné le contexte précédent, avec une performance mesurée par la perplexité. De nombreux premiers modèles de langage à réseaux de neurones, tels que les LSTM et les GRU, ont obtenu des réductions significatives de perplexité sur ce benchmark.
Le PTB a également engendré plusieurs variantes d'annotation, y compris les conversions en dépendances universelles, qui mappent le jeu d'étiquettes original vers un schéma d'annotation translinguistique. L'ensemble de données Google Syntactic N-grams, publié par Google en 2015, a dérivé des n-grammes avec un contexte d'analyse environnant à partir d'annotations de style PTB, étendant encore sa portée.
Limites et critiques
Le PTB présente des limites notables. Son domaine journalistique prédominant et sa taille relativement petite (environ 1 million de mots de WSJ) limitent la généralisabilité à d'autres types de textes. Des incohérences d'annotation, en particulier autour de la ponctuation et de certaines constructions verbales, ont été documentées. De plus, le corpus reflète l'anglais d'une période spécifique (fin des années 1980 au début des années 1990), ce qui peut ne pas capturer l'usage contemporain.
Les critiques ont souligné que la performance sur le PTB ne corrèle pas toujours avec la robustesse de l'analyse syntaxique dans le monde réel, car la simplicité du benchmark peut masquer des problèmes comme la généralisation hors distribution. En conséquence, les chercheurs se sont tournés vers des corpus plus grands et plus diversifiés, y compris des ensembles de données basés sur Wikipédia et des ressources multilingues.
Héritage et utilisation continue
Malgré son âge, le PTB reste influent en tant que ressource pédagogique et test de cohérence pour les nouveaux modèles. Ses directives d'annotation ont informé les treebanks ultérieurs pour d'autres langues, comme le Chinese Treebank et l'Arabic Treebank, tous deux également produits à l'université de Pennsylvanie. Le PTB est hébergé par le Linguistic Data Consortium (LDC) et nécessite une licence pour la redistribution.
Dans le contexte de l'intelligence artificielle moderne, le rôle du PTB a diminué mais n'a pas disparu. Par exemple, les manuels et cours de apprentissage profond utilisent encore le PTB comme un ensemble de données simple pour prototyper des modèles de séquences. Sa nature structurée le rend également utile pour étudier la structure linguistique dans les modèles à réseaux de neurones. Le corpus reste un point de référence pour comprendre la trajectoire historique du TAL, des systèmes basés sur des règles aux méthodes statistiques pilotées par les données et au-delà.
Directives d'annotation et documentation
Le PTB est documenté dans plusieurs rapports techniques et manuels d'utilisation, notamment « The Penn Treebank: Annotating Predicate Argument Structure » (1994) de Marcus et al., qui détaillait le schéma d'annotation. La distribution officielle du LDC inclut des instructions pour convertir entre les formats de fichiers. Le jeu d'étiquettes et les directives ont été largement adoptés et sont encore enseignés dans les cours de linguistique computationnelle.