Le Stanford Question Answering Dataset, communément appelé SQuAD, est un ensemble de données de référence pour évaluer les modèles d'apprentissage automatique sur la compréhension de lecture et le question-réponse. Il se compose de questions posées par des travailleurs participatifs sur un ensemble d'articles de Wikipédia, où la réponse à chaque question est un segment de texte (une étendue) extrait de l'article correspondant. SQuAD est largement utilisé dans la recherche en traitement du langage naturel pour mesurer la capacité des modèles à comprendre un passage donné et à localiser des réponses exactes, servant de jalon clé dans le développement des systèmes modernes de question-réponse.
SQuAD a été introduit par des chercheurs de l'Université de Stanford et publié pour la première fois en 2016. La version initiale, plus tard nommée SQuAD1.1, contient plus de 100 000 paires question-réponse dérivées de 536 articles de Wikipédia. Une version ultérieure, SQuAD2.0, a été publiée en 2018 et a ajouté plus de 50 000 questions sans réponse, conçues pour tester la capacité d'un modèle à s'abstenir de répondre lorsque le passage ne contient pas l'information. La popularité de SQuAD tient à son format propre, à l'objectivité des réponses basées sur des étendues, et à sa capacité à fournir une métrique simple pour comparer les performances des modèles.
Structure et création de l'ensemble de données
La construction de SQuAD a impliqué des travailleurs participatifs, recrutés via Amazon Mechanical Turk, qui devaient lire un article de Wikipédia puis générer des questions dont la réponse était une étendue de texte contiguë. Les articles ont été sélectionnés à partir d'une liste organisée d'entrées de haute qualité couvrant divers sujets, notamment l'histoire, les sciences et la géographie. Chaque question a été associée à une seule réponse exacte, et des réponses supplémentaires ont été collectées pour tenir compte des formulations alternatives valides. L'ensemble de données original SQuAD1.1 a été divisé en un ensemble d'entraînement d'environ 87 000 questions et un ensemble de développement d'environ 10 000 questions, avec un ensemble de test caché utilisé pour l'évaluation officielle.
SQuAD2.0 a introduit un défi significatif en combinant les questions originales avec de nouvelles questions sans réponse. Ces exemples adverses ont été rédigés par des travailleurs participatifs sur la base de paragraphes similaires à ceux de l'ensemble de données, mais modifiés pour changer des faits spécifiques (par exemple, remplacer une date ou un nom). L'objectif était d'exiger des modèles qu'ils répondent correctement lorsqu'une étendue existe, mais aussi qu'ils rejettent les questions lorsqu'aucune réponse n'est présente. Ce développement a eu un impact majeur, car de nombreux systèmes antérieurs ne pouvaient pas gérer l'exigence d'abstention, entraînant des baisses de performances substantielles sur le nouveau benchmark.
Métriques d'évaluation
La métrique principale pour SQuAD est le score Exact Match (EM), qui mesure le pourcentage de prédictions correspondant exactement à l'une des réponses de référence, après normalisation (telle que la suppression de la ponctuation et des articles). Une métrique secondaire, le score F1, calcule le chevauchement entre les jetons prédits et les jetons de référence, offrant une mesure plus indulgente qui crédite les correspondances partielles. Ces métriques sont calculées sur l'ensemble de développement, et les classements officiels ont historiquement été utilisés pour classer les soumissions. Le classement était hébergé sur un site web dédié géré par le groupe Stanford NLP, et il a servi de point central pour la recherche compétitive jusqu'à sa mise à jour finale.
Influence sur la recherche en traitement du langage naturel
SQuAD a joué un rôle central dans l'évolution du traitement du langage naturel, coïncidant avec l'essor de l'apprentissage profond et des architectures basées sur les transformeurs. Les premiers systèmes performants en 2016 reposaient sur des réseaux neuronaux récurrents et des mécanismes d'attention, mais l'introduction du modèle Transformer en 2017 et des modèles pré-entraînés ultérieurs a fondamentalement changé le paysage. Notamment, OpenAI et d'autres laboratoires ont publié des modèles tels que BERT (une variante de Google) qui ont atteint des performances suprahumaines sur SQuAD1.1, et les modèles ultérieurs ont amélioré les résultats sur SQuAD2.0. SQuAD est devenu un banc d'essai standard pour les nouvelles architectures, y compris les grands modèles de langage tels que GPT et le Claude d'Anthropic, qui sont souvent évalués sur ce benchmark lors de leur développement.
L'influence de l'ensemble de données s'étend au-delà des classements. SQuAD a stimulé la création d'ensembles de données dérivés et de tâches, telles que le question-réponse extractif dans d'autres langues et le question-réponse multi-documents. Il a également informé la conception de benchmarks ultérieurs comme Natural Questions et TriviaQA, qui se concentrent sur des contextes en domaine ouvert plutôt que sur l'extraction à partir d'un seul passage. Des chercheurs du MIT CSAIL, de Berkeley AI Research et d'autres institutions ont utilisé SQuAD pour étudier la robustesse des modèles, leur calibration et les limites du raisonnement extractif.
Limites et critiques
Malgré son succès, SQuAD présente des limitations notables. Le format de réponse est restreint à des étendues de texte contiguës, ce qui exclut les questions par oui/non, les comptages ou les réponses nécessitant une synthèse à travers plusieurs phrases. Les passages dérivés de Wikipédia sont relativement courts et autonomes, de sorte que le benchmark ne teste pas des capacités comme le raisonnement multi-étapes ou la gestion de textes bruyants du monde réel. Les questions générées par les travailleurs participatifs tendent également à favoriser la correspondance lexicale, ce qui signifie que les modèles peuvent obtenir des scores élevés en apprenant à identifier des étendues similaires aux mots de la question, plutôt qu'en comprenant véritablement le contenu. Ces critiques ont conduit au développement de benchmarks plus difficiles, mais SQuAD reste un point de référence fondamental pour mesurer les progrès en compréhension de lecture et en question-réponse.
Héritage et utilisation actuelle
SQuAD est encore fréquemment cité dans les articles académiques et utilisé comme évaluation de référence dans le domaine plus large de l'intelligence artificielle. De nombreux frameworks de apprentissage automatique modernes incluent SQuAD comme ensemble de données standard dans leurs bibliothèques, et il est couramment utilisé dans les exercices des cours universitaires sur le traitement du langage naturel. Bien que les modèles récents atteignent souvent des scores supérieurs à 90 % en EM sur SQuAD1.1, l'importance historique du benchmark réside dans son rôle de démonstration de la puissance des systèmes entraînés sur des tâches de lecture structurée. Depuis le début des années 2020, SQuAD reste un point de référence pour comparer les modèles de langage généraux, bien que des suites d'évaluation comme GLUE et SuperGLUE soient devenues plus dominantes.