BoolQ (questions booléennes) est un ensemble de données pour la compréhension du langage naturel qui évalue la capacité d'une machine à répondre à des questions par oui ou par non en utilisant un passage de texte donné. Il a été introduit en 2019 par Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins et Kristina Toutanova, de l'Université Carnegie Mellon et de Google AI Language. L'ensemble de données contient 15 942 questions, chacune associée à un court passage de Wikipédia et à une réponse binaire (oui ou non). Les questions sont naturellement formulées, générées par des annotateurs humains à qui l'on a demandé de rédiger des questions basées sur le contenu du passage, ce qui les rend plus réalistes et plus difficiles que les requêtes synthétiques ou basées sur des modèles.
BoolQ fait partie du benchmark SuperGLUE, une suite de tâches conçues pour évaluer les modèles de compréhension du langage à usage général. Dans SuperGLUE, BoolQ sert de test de compréhension de lecture et de raisonnement logique, exigeant des modèles qu'ils identifient les informations pertinentes dans un passage et prennent une décision simple mais souvent nuancée. La difficulté de l'ensemble de données provient du fait que la réponse n'est pas toujours explicitement énoncée ; les modèles doivent déduire la réponse du contexte, gérer la négation et traiter des questions qui peuvent avoir plusieurs interprétations plausibles.
Construction et annotation
L'ensemble de données BoolQ a été construit en sélectionnant d'abord des passages d'articles de Wikipédia sur une gamme variée de sujets, notamment l'histoire, la science et la culture. Les annotateurs ont ensuite vu un passage et ont été invités à rédiger une question par oui ou par non à laquelle on pouvait répondre en utilisant les informations du texte. Ils ont reçu pour instruction d'éviter les questions trop faciles ou trop dépendantes de connaissances externes, garantissant que les questions exigeaient une véritable compréhension du passage. Chaque question a ensuite été répondue par un groupe distinct d'annotateurs, le vote majoritaire déterminant l'étiquette finale. L'ensemble de données a été divisé en 9 427 exemples d'entraînement, 3 270 exemples de développement et 3 245 exemples de test, l'ensemble de test étant réservé pour une évaluation officielle.
Tâche et évaluation
Dans la tâche BoolQ, un modèle reçoit un passage et une question, et il doit produire soit « oui », soit « non ». La principale métrique d'évaluation est la précision, qui correspond au pourcentage de questions correctement répondues. Une réponse aléatoire atteindrait une précision de 50 %, mais la performance humaine sur l'ensemble de données est estimée à environ 90 %, ce qui indique la nécessité d'un raisonnement sophistiqué. Les premiers modèles, tels que ceux basés sur les architectures Transformer (architecture), ont eu du mal avec cette tâche, les premiers résultats publiés atteignant environ 60 à 70 % de précision. L'introduction des Large language models et des approches Neural network, en particulier celles affinées sur BoolQ, a considérablement amélioré les performances, les modèles de pointe dépassant 90 % de précision d'ici 2021.
Défis et importance
BoolQ présente plusieurs défis pour les systèmes de Machine learning. Les questions contiennent souvent des présupposés ou exigent que le modèle gère des phénomènes linguistiques complexes tels que la résolution de coréférence, le raisonnement temporel et les connaissances du monde. Par exemple, une question comme « La bataille de Waterloo a-t-elle eu lieu au XIXe siècle ? » exige que le modèle localise la date dans le passage et la fasse correspondre au bon siècle. De plus, les passages ne sont pas toujours directement pertinents pour la question, ce qui oblige le modèle à filtrer les informations non pertinentes. BoolQ a été influent dans la stimulation de la recherche sur la compréhension de lecture et a été utilisé comme référence pour évaluer les systèmes d'Artificial intelligence, y compris ceux développés par OpenAI, Anthropic et Google DeepMind.
Relation avec d'autres benchmarks
BoolQ est l'un des nombreux ensembles de données du benchmark SuperGLUE, qui comprend également des tâches comme MultiRC (compréhension de lecture multi-phrases), ReCoRD (compréhension de lecture avec raisonnement de bon sens) et COPA (raisonnement causal). Contrairement à certains autres benchmarks qui se concentrent sur la réponse aux questions extractives, où la réponse est un segment de texte, BoolQ exige une décision binaire, ce qui en fait un test plus direct de la compréhension. Il est également lié à l'ensemble de données antérieur SQuAD (Stanford Question Answering Dataset), mais il en diffère en ce que les questions SQuAD sont généralement répondables avec un segment, tandis que les questions BoolQ sont conçues pour être plus ouvertes et nécessiter une inférence.
Impact sur le développement des modèles
BoolQ a été largement utilisé dans le développement et l'évaluation des modèles de Deep learning. Il a été un benchmark clé dans le développement de modèles basés sur Transformer (architecture) comme BERT et RoBERTa, qui ont montré des gains significatifs par rapport aux approches précédentes. L'ensemble de données a également été utilisé pour étudier les limites des modèles, telles que leur tendance à s'appuyer sur des indices superficiels ou à être induits en erreur par des exemples adverses. En 2024, BoolQ reste un outil d'évaluation standard dans la recherche en traitement du langage naturel, et il est souvent inclus dans l'entraînement et le test des nouveaux Large language models, contribuant au domaine plus large de la Generative AI.
Voir aussi
- Machine learning
- Natural language processing
- SuperGLUE
- reading-comprehension