Le Children's Book Test (CBT) est un ensemble de données de référence conçu pour évaluer les capacités de compréhension en lecture des systèmes d'intelligence artificielle. Introduit en 2015, il a été créé par des chercheurs de Google DeepMind pour offrir un test à la fois exigeant et accessible aux modèles de apprentissage automatique. Le test est construit à partir de phrases extraites d'un vaste corpus de livres pour enfants, disponibles gratuitement en ligne via le projet Gutenberg. La tâche consiste à prédire un mot manquant dans une phrase, en fonction du contexte précédent de l'histoire. Cela exige des modèles qu'ils comprennent la structure narrative, les relations entre les personnages et les connaissances de sens commun, plutôt que de simplement faire correspondre des motifs dans le texte local.
Le CBT a été développé pour combler une lacune dans les méthodes d'évaluation existantes de la compréhension du langage. Les références antérieures se concentraient souvent sur des tâches comme l'étiquetage de parties du discours ou l'analyse syntaxique, qui ne mesurent pas directement la compréhension du sens. La conception du CBT, utilisant un texte narratif naturel, en fait un test plus réaliste de la capacité d'un modèle à suivre une histoire. L'ensemble de données est devenu un point de référence standard dans le domaine, utilisé pour comparer les performances de diverses architectures de réseaux de neurones et techniques d'entraînement.
Structure de l'ensemble de données et tâche
L'ensemble de données CBT est divisé en quatre sous-ensembles distincts, chacun ciblant un type de mot différent : noms, verbes, adjectifs et prépositions. Chaque sous-ensemble contient une série de « questions », où une question est un passage de 21 phrases consécutives tirées d'un livre. Les 20 premières phrases servent de contexte, et la 21e phrase a un mot supprimé. Le modèle reçoit le contexte et la phrase incomplète, ainsi qu'une liste de 10 mots candidats. Un seul de ces candidats est le mot correct du texte original ; les neuf autres sont des mots sélectionnés aléatoirement du même type (par exemple, d'autres noms si le mot manquant est un nom). La tâche du modèle est de sélectionner le mot correct.
Ce format à choix multiples simplifie l'évaluation, car il ne nécessite pas que le modèle génère du texte libre. La sélection aléatoire des distracteurs garantit que le modèle ne peut pas réussir en apprenant simplement la fréquence des mots ou des collocations courantes ; il doit utiliser le contexte narratif plus large. Par exemple, si l'histoire mentionne un personnage nommé « Tom » et un « chien », et que le mot manquant est un nom dans une phrase comme « Tom jouait avec le ___ », le modèle doit déduire que « chien » est plus probable que « ballon » en fonction des événements précédents de l'histoire.
Création et corpus
Le corpus du CBT a été compilé à partir de 98 livres pour enfants téléchargés depuis le projet Gutenberg. Ces livres ont été choisis car ils sont dans le domaine public et contiennent un langage relativement simple, ce qui les rend adaptés pour tester la compréhension. Les chercheurs, dirigés par Felix Hill, Antoine Bordes, Sumit Chopra et Jason Weston, ont traité les livres pour extraire des phrases et créer les instances de test. L'ensemble de données final contient plus de 687 000 questions réparties sur les quatre sous-ensembles de types de mots. Le sous-ensemble de noms est le plus grand, avec environ 250 000 questions, tandis que le sous-ensemble de prépositions est le plus petit, avec environ 75 000 questions.
Une caractéristique clé de l'ensemble de données est qu'il est divisé en ensembles d'entraînement, de validation et de test, sans chevauchement des livres utilisés pour chacun. Cela garantit que les modèles sont testés sur des histoires qu'ils n'ont jamais vues pendant l'entraînement, les forçant à généraliser à de nouvelles narrations. L'utilisation de livres pour enfants est délibérée : ils contiennent des récits clairs, des personnages récurrents et des objets quotidiens, ce qui fournit un contexte riche pour le raisonnement.
Importance dans la recherche en IA
Le CBT a joué un rôle significatif dans l'avancement de la recherche sur le apprentissage profond pour la compréhension du langage naturel. Lors de sa publication, de nombreux modèles existants obtenaient de mauvais résultats, en particulier sur les sous-ensembles de noms et de verbes, qui exigent un raisonnement plus profond sur l'histoire. Cela a motivé le développement de nouvelles architectures, telles que les réseaux à mémoire augmentée et les modèles basés sur l'attention. Le benchmark a aidé à populariser l'idée des tâches de type « cloze », où un mot est supprimé et doit être prédit, comme moyen d'évaluer la compréhension.
Plus tard, le CBT a été utilisé pour évaluer les premiers modèles transformers, qui ont montré des améliorations substantielles par rapport aux réseaux récurrents. Le succès des transformers sur le CBT et des benchmarks similaires a contribué à l'essor des grands modèles de langage. Bien que les modèles modernes comme ceux de OpenAI et Anthropic atteignent désormais des scores presque parfaits sur le CBT, l'ensemble de données reste un outil de diagnostic utile pour comprendre le comportement des modèles, en particulier dans des environnements contrôlés où les chercheurs peuvent sonder des capacités de raisonnement spécifiques.
Limites et critiques
Malgré son influence, le CBT présente plusieurs limites. Les critiques ont noté que le format à choix multiples peut être contourné par des modèles qui exploitent des régularités statistiques dans les listes de candidats, plutôt qu'une véritable compréhension. Par exemple, un modèle pourrait apprendre à préférer les mots qui apparaissent fréquemment dans le contexte, même s'ils ne sont pas sémantiquement appropriés. De plus, la tâche ne nécessite que la sélection d'un seul mot, ce qui est un aspect relativement étroit de la compréhension en lecture ; elle ne teste pas la capacité à répondre à des questions ouvertes, à résumer une histoire ou à faire des inférences sur des informations non explicites.
Une autre critique est que la sélection aléatoire des distracteurs peut parfois créer des questions faciles, où le mot correct est le seul qui a un sens grammatical. Cela peut gonfler les scores de performance. Les chercheurs ont proposé des variantes du CBT, comme l'utilisation de distracteurs plus difficiles ou l'exigence de génération libre, pour remédier à ces problèmes. Néanmoins, la simplicité et la reproductibilité du CBT en ont fait un benchmark durable, et il est encore cité dans des articles comme référence de comparaison.
Héritage et influence
Le CBT a influencé la conception de benchmarks ultérieurs comme LAMBADA et le Stanford Question Answering Dataset (SQuAD), qui utilisent également du texte narratif ou contextuel pour tester la compréhension. Il a aussi contribué au développement de métriques d'évaluation axées sur le raisonnement sur de longs passages. L'ensemble de données est disponible en téléchargement et reste un outil courant pour les chercheurs étudiant le apprentissage automatique et l'intelligence artificielle dans des contextes académiques et industriels. Sa création a souligné l'importance d'utiliser un texte naturel, rédigé par des humains, pour l'entraînement et l'évaluation, un principe qui continue de guider le domaine.