Le Stanford Question Answering Dataset (SQuAD) est un benchmark largement utilisé pour évaluer la capacité des systèmes d’intelligence artificielle à comprendre des textes et à répondre à des questions. Développé par des chercheurs du Stanford AI Lab, SQuAD se compose d’une vaste collection de questions posées par des contributeurs externes sur un ensemble d’articles Wikipédia. Chaque question est associée à une réponse qui correspond à un extrait de texte directement tiré de l’article, un format connu sous le nom de réponse extractive. Ce jeu de données sert de référence standard pour les modèles de apprentissage automatique et de apprentissage profond dans le domaine du traitement automatique des langues, un secteur clé de la recherche en intelligence artificielle.
Publié pour la première fois en 2016, SQuAD a introduit une procédure d’évaluation rigoureuse qui mesure à la fois la correspondance exacte (EM) entre les réponses prédites et les réponses réelles, ainsi que le score F1 au niveau des tokens, qui prend en compte les correspondances partielles. Cette double métrique est devenue une norme de facto pour la recherche sur les systèmes de questions-réponses. La version initiale, souvent appelée SQuAD1.1, contient plus de 100 000 paires question-réponse issues de plus de 500 articles. Une version ultérieure, SQuAD2.0, publiée en 2018, a ajouté plus de 50 000 questions sans réponse, conçues pour tester la capacité des modèles à reconnaître lorsqu’aucune réponse n’existe, rendant la tâche plus difficile et plus réaliste.
Structure et contenu
Le jeu de données est construit à partir d’articles Wikipédia, principalement ceux couvrant des personnalités, des événements et des sujets notables. Les contributeurs lisent chaque article et génèrent des questions auxquelles on peut répondre par un extrait du texte. Par exemple, une question pourrait être « Quelle entreprise a développé la machine de Turing ? » avec pour réponse le nom de l’entreprise mentionné dans le texte. Chaque paire question-réponse est associée à un paragraphe de contexte, et la réponse est annotée avec ses positions de début et de fin dans ce paragraphe. Cette conception garantit que la tâche est purement extractive, se concentrant sur la compréhension de lecture plutôt que sur la génération de réponses.
Le jeu de données SQuAD est divisé en ensembles d’entraînement, de développement et de test. L’ensemble de test n’est pas rendu public ; les participants soumettent leurs prédictions à un serveur pour évaluation, ce qui évite le surapprentissage sur les données de test. Cette approche a encouragé une comparaison équitable entre différentes approches, des premiers modèles réseaux de neurones aux architectures modernes basées sur transformeurs.
Impact sur le développement des modèles
SQuAD a joué un rôle déterminant dans l’avancement rapide des modèles de questions-réponses. Dans les premières années, les meilleurs systèmes reposaient sur des modèles séquence à séquence et des mécanismes d’attention, obtenant des scores modestes. L’introduction de modèles de langage pré-entraînés comme BERT en 2018 a entraîné une amélioration spectaculaire, les modèles dépassant les performances humaines sur SQuAD1.1 en quelques mois. Ce progrès a mis en évidence la puissance du pré-entraînement sur de grands corpus, une pierre angulaire du développement des grands modèles de langage modernes.
Les architectures ultérieures, notamment celles basées sur des conceptions encodeur-décodeur et attention multi-têtes, ont continué à repousser les limites de l’état de l’art. SQuAD2.0, avec ses questions sans réponse, s’est révélé plus difficile, obligeant les modèles à intégrer des mécanismes d’abstention, comme l’attribution d’un score de confiance faible aux réponses prédites. Ce défi a stimulé la recherche sur l’estimation de l’incertitude et le raisonnement robuste, des sujets qui restent des domaines d’étude actifs.
Le benchmark a également influencé le développement de produits commerciaux d’IA. Des entreprises comme OpenAI et Google DeepMind ont utilisé des tâches de type SQuAD pour évaluer et affiner leurs modèles, et le jeu de données reste une référence courante dans les publications académiques et les rapports industriels.
Métriques d’évaluation et classements
Les principales métriques pour SQuAD sont la correspondance exacte (EM) et le score F1. L’EM est une mesure stricte qui exige que la réponse prédite corresponde exactement à la réponse réelle, y compris la ponctuation et la casse (à l’exception des articles comme « le », « la », « un », « une »). Le score F1 traite la réponse comme un ensemble de tokens et calcule la moyenne harmonique de la précision et du rappel, accordant un crédit partiel pour les chevauchements de mots. Sur SQuAD1.1, la performance humaine est d’environ 82,3 pour l’EM et 91,2 pour le F1, tandis que les meilleurs modèles ont atteint des scores supérieurs à 90 pour l’EM et 95 pour le F1. Sur SQuAD2.0, la performance humaine est d’environ 86,8 pour l’EM et 89,5 pour le F1, et les meilleurs modèles ont approché ces niveaux.
Les classements officiels, hébergés par Stanford, suivent ces métriques au fil du temps. Cependant, il n’existe pas de classement officiel unique pour SQuAD2.0 ; les chercheurs publient souvent leurs résultats dans des articles, et diverses tables comparatives sont maintenues. Le jeu de données continue d’être utilisé pour mesurer les progrès en compréhension de lecture, et ses résultats sont régulièrement cités dans les soumissions de conférences.
Limites et critiques
Malgré son succès, SQuAD présente des limites notables. Le format extractif restreint les réponses à des extraits du texte, ce qui ne reflète pas la diversité des questions ouvertes que les utilisateurs réels peuvent poser. De plus, le jeu de données présente des biais, comme une tendance des questions à se concentrer sur des entités et des dates, et les questions générées par les contributeurs peuvent manquer de naturel. Les critiques ont souligné que les modèles obtenant des scores élevés peuvent s’appuyer sur des indices superficiels, comme la correspondance de mots entre la question et le contexte, plutôt que sur une compréhension profonde.
SQuAD2.0 a partiellement répondu à ces préoccupations en ajoutant des questions sans réponse, mais le jeu de données fonctionne toujours dans un cadre « à livre fermé », où une seule question est associée à un seul document. Cela diffère considérablement des systèmes de questions-réponses en domaine ouvert, où les systèmes doivent rechercher des informations pertinentes dans de grands corpus. En conséquence, les chercheurs ont développé des benchmarks alternatifs, tels que Natural Questions et HotpotQA, pour explorer des défis multi-documents et de raisonnement plus complexes. Néanmoins, SQuAD reste une référence canonique dans le domaine.
Héritage et utilisation continue
L’héritage de SQuAD s’étend bien au-delà de son rôle initial. Il sert d’outil pédagogique pour enseigner les concepts de apprentissage profond et de traitement du langage naturel. Le jeu de données est librement disponible et a été intégré dans des bibliothèques d’apprentissage automatique populaires et des plateformes éducatives. Ses principes de conception – échelle importante, questions issues du crowdsourcing et évaluation claire – ont inspiré de nombreux ensembles de données ultérieurs.
En 2025, SQuAD est toujours utilisé dans la recherche en cours, notamment en combinaison avec des modèles plus récents basés sur transformeurs et dans des études sur l’interprétabilité des modèles. Bien que sa domination ait diminué avec l’essor des grands modèles de langage génératifs, il reste un outil précieux pour vérifier les capacités de compréhension de lecture. Le rôle de SQuAD dans l’histoire de l’IA est bien établi : il a catalysé une décennie de progrès et fourni un langage commun aux chercheurs pour comparer leurs travaux.