QAngaroo est un ensemble de données de référence conçu pour évaluer la capacité des systèmes d'intelligence artificielle à effectuer un raisonnement multi-sauts. Contrairement aux tâches standard de réponse à des questions qui nécessitent de récupérer un seul fait, QAngaroo présente des questions qui exigent de combiner des informations provenant de plusieurs documents ou passages distincts. Le nom est un mot-valise de « réponse à des questions » et « kangourou », reflétant l'accent mis par la tâche sur le saut entre les éléments de preuve. Il a été introduit en 2018 par des chercheurs de l'University College London et de Facebook AI Research, notamment Johannes Welbl, Pontus Stenetorp et Sebastian Riedel.
L'ensemble de référence comprend deux sous-ensembles principaux : WikiHop et MedHop. WikiHop est construit à partir d'articles de Wikipédia, où chaque question est dérivée d'un ensemble de documents de support qui contiennent collectivement la réponse. MedHop est construit à partir de résumés médicaux, se concentrant sur les prédictions d'interactions médicamenteuses, nécessitant un raisonnement sur la littérature biomédicale. Les deux sous-ensembles sont conçus pour que la réponse ne puisse pas être trouvée dans un seul document, forçant les modèles à agréger les preuves provenant de plusieurs sources.
Conception de la tâche et évaluation
Chaque instance de QAngaroo consiste en une requête, un ensemble d'options de réponse candidates et une collection de documents de support. Le modèle doit sélectionner la bonne réponse en raisonnant sur le contexte fourni. La métrique d'évaluation est la précision, mesurant le pourcentage de questions correctement répondues. L'ensemble de référence est volontairement difficile, car les documents de support sont souvent bruités et contiennent des informations non pertinentes, obligeant les modèles à identifier et à combiner uniquement les éléments pertinents.
L'ensemble de données a été créé à l'aide d'un pipeline semi-automatique. Pour WikiHop, les créateurs ont utilisé les hyperliens internes de Wikipédia pour générer des questions multi-sauts. Ils ont identifié des paires d'entités connectées via une entité intermédiaire, puis ont construit une question qui nécessite d'inférer la relation entre les deux extrémités. Pour MedHop, ils ont utilisé une approche similaire sur des résumés médicaux, en se concentrant sur les interactions entre médicaments.
Impact sur la recherche
QAngaroo est devenu un ensemble de référence standard pour évaluer les capacités de raisonnement multi-sauts dans les modèles de Machine learning et de Deep learning. Il a été largement utilisé dans la recherche sur les architectures de Neural network, en particulier celles employant des mécanismes d'attention et des réseaux à mémoire augmentée. L'ensemble de référence a mis en évidence les limites des premiers Large language models, qui avaient souvent du mal avec les tâches nécessitant une inférence explicite en plusieurs étapes. Il a stimulé le développement de modèles spécialisés, tels que les réseaux de neurones graphiques qui opèrent sur la structure des documents, et les approches de lecture itérative qui affinent la sélection des preuves sur plusieurs passages.
L'ensemble de référence a également contribué à une compréhension plus large du raisonnement en IA. Il a démontré que les modèles simples de Sequence-to-Sequence (Seq2Seq) échouent souvent sur les tâches multi-sauts, tandis que les modèles avec des composants de raisonnement explicites, tels que les Graph Neural Networks ou ceux utilisant le Reinforcement learning pour la sélection des preuves, performent significativement mieux. En 2023, les résultats de pointe sur WikiHop ont atteint plus de 70 % de précision, mais l'ensemble de référence reste non résolu, avec une performance humaine estimée à environ 90 %.
Limites et critiques
Malgré son influence, QAngaroo a fait face à des critiques. Certains chercheurs ont noté que la construction de l'ensemble de référence pourrait permettre aux modèles d'exploiter des raccourcis, tels que la fuite de réponses via les options candidates ou des schémas superficiels dans les documents de support. Par exemple, la réponse est souvent l'entité qui apparaît le plus fréquemment dans les documents, ce qui peut être exploité par des heuristiques basées sur la fréquence. Cela a suscité des inquiétudes quant au fait que des scores élevés sur QAngaroo ne reflètent pas nécessairement une véritable capacité de raisonnement.
De plus, l'accent mis par l'ensemble de référence sur Wikipédia et les résumés médicaux limite sa couverture de domaine. Les questions sont relativement courtes et les étapes de raisonnement sont généralement limitées à deux ou trois sauts, ce qui peut ne pas capturer la complexité des tâches de raisonnement multi-sauts du monde réel. Par conséquent, certains chercheurs ont appelé à des ensembles de référence plus diversifiés et plus difficiles, conduisant au développement de jeux de données ultérieurs comme HotpotQA et 2WikiMultiHopQA.
Héritage et utilisation continue
Malgré ces limites, QAngaroo reste un outil largement utilisé pour évaluer et comparer les modèles d'IA. Il est inclus dans plusieurs classements publics et est souvent utilisé comme référence dans les articles de recherche sur la réponse à des questions et le raisonnement. Les principes de conception de l'ensemble de référence, en particulier l'utilisation de multiples documents de support et l'exigence d'agrégation des preuves, ont influencé la création de nombreux jeux de données ultérieurs. Il sert également de ressource précieuse pour étudier l'interprétabilité des modèles, car la structure multi-sauts permet aux chercheurs de tracer le chemin de raisonnement suivi par un modèle.
Dans le contexte du domaine plus large, QAngaroo fait partie d'une lignée d'ensembles de référence de raisonnement qui ont repoussé les limites de l'Artificial intelligence. Il a été utilisé pour évaluer des modèles de diverses institutions, notamment Google DeepMind, OpenAI, et des laboratoires académiques comme Stanford AI Lab et BAIR (Berkeley AI Research). Bien que de nouveaux ensembles de référence aient émergé, le rôle de QAngaroo dans la mise en évidence de l'importance du raisonnement multi-sauts et son impact sur la conception des modèles garantissent sa pertinence continue dans la recherche en IA.
Voir aussi
- HotpotQA
- multi-hop-reasoning
- question-answering
- Natural language processing