ComplexWebQuestions est un ensemble de données de référence conçu pour évaluer la capacité des systèmes d'intelligence artificielle à effectuer un question-réponse multi-sauts. Contrairement aux tâches de question-réponse simples qui nécessitent la récupération d'un seul fait, les questions multi-sauts exigent qu'un modèle rassemble et intègre des informations provenant de sources multiples, souvent disparates, pour arriver à une réponse correcte. L'ensemble de données a été introduit en 2018 par une équipe de chercheurs pour remédier aux limites des références existantes, qui se concentraient principalement sur le raisonnement à un seul saut ou reposaient sur des bases de connaissances structurées sans la complexité du texte web réel.
L'ensemble de données se compose de plus de 34 000 paires question-réponse, chacune dérivée de l'ensemble de données WebQuestionsSP mais enrichie de contraintes supplémentaires et d'une structure compositionnelle. Les questions sont conçues pour nécessiter deux étapes de raisonnement ou plus, impliquant souvent des entités et des relations qui s'étendent sur différentes parties d'un graphe de connaissances ou nécessitent de combiner des informations d'une base de connaissances avec des passages textuels. Par exemple, une question pourrait demander : « Quelle est la capitale du pays où se trouve la tour Eiffel ? », ce qui nécessite d'abord d'identifier le pays (la France) puis de trouver sa capitale (Paris).
Construction et annotation
La création de ComplexWebQuestions a impliqué un processus semi-automatique. Les chercheurs ont commencé avec l'ensemble de données WebQuestionsSP, qui contient des questions et leurs requêtes SPARQL correspondantes sur le graphe de connaissances Freebase. Ils ont ensuite appliqué un ensemble de modèles et de transformations pour introduire des contraintes supplémentaires, telles que des superlatifs, des comparaisons et des filtres temporels ou spatiaux. Ce processus a généré de nouvelles questions plus complexes qui n'étaient pas présentes dans l'ensemble de données original. Chaque question générée a ensuite été associée à une requête SPARQL pouvant être exécutée contre Freebase pour obtenir la réponse correcte, garantissant ainsi des étiquettes de vérité terrain. L'ensemble de données comprend également un ensemble de questions « compositionnelles » qui nécessitent de combiner plusieurs relations, ainsi qu'un sous-ensemble de questions « sans réponse » compte tenu du contexte fourni, ajoutant une couche de réalisme.
Évaluation et métriques
ComplexWebQuestions est généralement utilisé pour évaluer les modèles sur leur capacité à effectuer un raisonnement multi-sauts sur une combinaison de données structurées et non structurées. La principale métrique d'évaluation est la précision de correspondance exacte, où la réponse prédite par un modèle doit correspondre exactement à la chaîne de réponse de référence. Certaines études rapportent également le score F1, qui tient compte des correspondances partielles. La référence a été utilisée pour tester diverses approches, y compris celles basées sur les réseaux neuronaux, les grands modèles de langage et les systèmes hybrides qui combinent le apprentissage automatique avec le raisonnement symbolique. Les premiers résultats ont montré que même les modèles de pointe de l'époque avaient du mal avec cet ensemble de données, atteignant une précision inférieure à 50 %, ce qui souligne la difficulté du raisonnement multi-sauts.
Importance et impact
ComplexWebQuestions est devenu une référence standard dans le domaine du traitement du langage naturel et de l'intelligence artificielle. Il a stimulé la recherche sur des mécanismes de raisonnement plus sophistiqués, tels que les réseaux neuronaux graphiques, les modèles basés sur l'attention et la génération augmentée par récupération. L'accent mis par l'ensemble de données sur la combinaison de bases de connaissances avec du texte a influencé le développement d'architectures hybrides capables de tirer parti à la fois des informations structurées et non structurées. Il sert également de banc d'essai pour évaluer les capacités de raisonnement des modèles basés sur les transformeurs, y compris ceux utilisés dans les systèmes modernes de IA générative. La référence a été citée dans des centaines d'articles et reste un point de référence pour mesurer les progrès dans le question-réponse multi-sauts.
Limites et critiques
Malgré son utilisation répandue, ComplexWebQuestions a fait face à certaines critiques. L'ensemble de données est dérivé d'une seule base de connaissances (Freebase), qui peut ne pas représenter pleinement la diversité du contenu web. De plus, le processus de génération de questions, bien qu'automatisé, peut produire des questions quelque peu artificielles ou contenant des schémas linguistiques qui ne sont pas représentatifs des requêtes d'utilisateurs naturels. Certains chercheurs ont noté que la dépendance de l'ensemble de données aux requêtes SPARQL signifie que les modèles peuvent parfois exploiter des raccourcis, comme apprendre à faire correspondre des schémas de requête plutôt qu'à raisonner véritablement. En conséquence, de nouvelles références ont été introduites pour remédier à ces limites, mais ComplexWebQuestions reste une ressource précieuse pour comprendre les défis du raisonnement multi-sauts.
Travaux connexes et orientations futures
Le développement de ComplexWebQuestions a inspiré une famille de références connexes, notamment HotpotQA, qui se concentre sur le raisonnement multi-sauts sur les articles de Wikipédia, et QAngaroo, qui comprend des ensembles de données pour le raisonnement multi-sauts sur des textes scientifiques. Ces références repoussent collectivement les limites de ce que les systèmes d'IA peuvent accomplir en termes de raisonnement complexe. Les orientations futures incluent l'incorporation de sources de données plus diverses, la gestion de questions ouvertes et l'amélioration de l'interprétabilité des processus de raisonnement des modèles. Alors que l'apprentissage profond et les grands modèles de langage continuent d'évoluer, des références comme ComplexWebQuestions joueront un rôle crucial pour évaluer si ces modèles comprennent et raisonnent véritablement sur le monde ou se contentent de mémoriser des schémas.
Infobox
- Type : Ensemble de données de référence
- Introduit : 2018
- Introduit par : Alon Talmor et Jonathan Berant (Université de Tel Aviv)
- Lié : HotpotQA, webquestionssp
Catégories
- question-réponse
- référence
- raisonnement-multi-sauts
- traitement-du-langage-naturel