OpenBookQA est un benchmark de question-réponse introduit en 2018 pour évaluer la capacité d'une machine à effectuer un raisonnement multi-étapes en utilisant à la fois des faits scientifiques explicites et des connaissances communes implicites. Le benchmark a été créé par une équipe de chercheurs comprenant Todor Mihaylov, Peter Clark, Tushar Khot et Ashish Sabharwal à l'Allen Institute for Artificial Intelligence (AI2). Il se compose de 5 957 questions à choix multiple de niveau scientifique scolaire primaire, chacune associée à un petit ensemble de faits scientifiques essentiels issus d'un « livre ouvert » de 1 326 faits scientifiques élémentaires. La tâche exige que les modèles sélectionnent la bonne réponse parmi quatre options, mais, de manière cruciale, les faits fournis seuls sont insuffisants ; les modèles doivent les combiner avec des connaissances plus larges sur le monde et un raisonnement logique pour parvenir à la bonne réponse.
Le benchmark a été conçu pour remédier aux limitations des ensembles de données de question-réponse antérieurs, qui permettaient souvent aux modèles de réussir grâce à une correspondance superficielle de motifs ou à la mémorisation. Dans OpenBookQA, les questions sont élaborées de sorte que la bonne réponse ne soit pas directement énoncée dans les faits fournis, forçant les systèmes à raisonner sur la manière dont les faits s'appliquent à la question. Cela fait du benchmark un test plus rigoureux de la capacité de raisonnement, et il est devenu un outil d'évaluation standard dans le domaine de l'intelligence artificielle et de l'apprentissage automatique.
Design et structure
OpenBookQA contient 5 957 questions, réparties en ensembles d'entraînement (4 957), de développement (500) et de test (500). Chaque question est un élément à choix multiple avec quatre options de réponse. Le benchmark inclut un « livre ouvert » de 1 326 faits scientifiques, qui sont de courtes déclarations affirmatives telles que « Les plantes ont besoin de lumière pour fabriquer leur nourriture » ou « L'eau bout à 100 degrés Celsius ». Ces faits sont tirés de manuels scientifiques élémentaires et couvrent des sujets comme la biologie, la physique et la chimie.
Les questions sont conçues de sorte qu'un humain ayant des connaissances scientifiques de base puisse y répondre facilement, mais elles exigent de combiner les faits donnés avec le bon sens. Par exemple, une question pourrait demander : « Que se passera-t-il très probablement si une plante est placée dans une pièce sombre ? » Les faits fournis pourraient indiquer que « Les plantes ont besoin de lumière pour grandir », mais la bonne réponse nécessite d'inférer que la plante ne poussera pas bien, ce qui n'est pas explicitement énoncé. Cette conception force les modèles à aller au-delà de la simple récupération et à s'engager dans un raisonnement.
Le benchmark inclut également un ensemble de questions « issues du crowdsourcing » qui ont été validées par des annotateurs humains pour garantir qu'elles soient sans ambiguïté et répondables par des non-experts. Les créateurs ont utilisé un processus en plusieurs étapes pour générer et filtrer les questions, assurant une haute qualité et difficulté.
Évaluation et performance
OpenBookQA est devenu un benchmark largement utilisé pour évaluer les grands modèles de langage et d'autres systèmes d'IA. Les premiers modèles, y compris ceux basés sur les architectures de transformers, ont obtenu de mauvais résultats, avec une précision souvent inférieure à 60 %, contre une performance humaine d'environ 92 %. Cet écart a mis en évidence le défi de combiner des connaissances explicites avec un raisonnement implicite.
Au fil du temps, la performance s'est considérablement améliorée grâce aux progrès de l'apprentissage profond et au développement de modèles plus grands. D'ici 2021, des modèles comme GPT-3 ont atteint une précision d'environ 80 % sur le benchmark, et d'ici 2023, les systèmes de pointe, y compris ceux d'OpenAI et de Google DeepMind, approchaient ou dépassaient 90 % de précision. Ces améliorations ont été stimulées par l'augmentation de la taille des modèles, de meilleures données d'entraînement et des techniques comme le prompt de chaîne de pensée, qui encourage les modèles à raisonner étape par étape.
Malgré ces progrès, OpenBookQA reste un benchmark difficile car il teste un raisonnement qui n'est pas facilement capturé par une simple correspondance de motifs. Même lorsque les modèles obtiennent des scores élevés, les chercheurs notent qu'ils peuvent encore s'appuyer sur des régularités statistiques plutôt que sur une véritable compréhension, ce qui fait du benchmark un outil utile pour sonder les limites des systèmes d'IA actuels.
Influence et héritage
OpenBookQA a influencé la conception de benchmarks ultérieurs, tels que ARC (AI2 Reasoning Challenge) et CommonsenseQA, qui mettent également l'accent sur le raisonnement plutôt que sur la récupération. Il a également stimulé la recherche sur les modèles augmentés par des connaissances, qui intègrent des bases de connaissances externes ou des mécanismes de récupération pour améliorer le raisonnement. Le benchmark est souvent utilisé en conjonction avec d'autres évaluations pour évaluer l'intelligence générale d'un modèle, et il apparaît dans les classements d'organisations comme l'AI Lab de Stanford et Berkeley AI Research.
L'accent mis par le benchmark sur le raisonnement à livre ouvert a également contribué aux discussions sur la différence entre la mémorisation et la compréhension en IA. Il a été cité dans des centaines d'articles de recherche et est un composant standard de nombreuses suites d'évaluation de modèles, y compris celles utilisées par Amazon Web Services et Google Cloud.
Limites et critiques
Certains chercheurs ont critiqué OpenBookQA pour être trop étroit, car il se concentre sur la science de niveau primaire et ne généralise pas à des tâches de raisonnement plus complexes. D'autres ont noté que le format à choix multiple du benchmark peut être contourné par des modèles qui exploitent des biais statistiques, comme sélectionner la réponse la plus longue ou celle qui chevauche le plus la question. Pour atténuer cela, les créateurs ont introduit un système de « crédit partiel », mais cela n'a pas entièrement résolu ces préoccupations.
De plus, la dépendance du benchmark à un ensemble fixe de faits signifie que les modèles entraînés sur de grands corpus peuvent déjà avoir vu des questions ou des faits similaires, entraînant une contamination potentielle des données. Cela a conduit certains chercheurs à appeler à des benchmarks plus dynamiques, mis à jour au fil du temps pour éviter la saturation.
Malgré ces limites, OpenBookQA reste un outil précieux pour évaluer les capacités de raisonnement et a joué un rôle clé dans l'avancement de la recherche sur les systèmes de réseaux de neurones et de IA générative. Ses principes de conception ont informé le développement de benchmarks plus complets visant à capturer un éventail plus large de compétences cognitives.