SWAG (Situations With Adversarial Generations) est un ensemble de données de référence à grande échelle conçu pour évaluer la capacité des systèmes d'intelligence artificielle à effectuer un raisonnement de bon sens sur des situations quotidiennes. Il a été introduit en 2018 par une équipe de chercheurs de l'Université de Washington et de l'Allen Institute for Artificial Intelligence, dirigée par Rowan Zellers et Yejin Choi. L'ensemble de données est construit comme une tâche d'inférence en langage naturel à choix multiples : étant donné une prémisse décrivant une situation, un modèle doit choisir la continuation la plus plausible parmi quatre options. SWAG est notable pour son utilisation de techniques de génération « adverses », qui créent des distracteurs difficiles, grammaticalement fluides et sémantiquement plausibles mais incorrects, testant ainsi un raisonnement plus profond plutôt que des modèles de langage de surface.
Le benchmark est devenu un outil d'évaluation standard dans le domaine du traitement du langage naturel et de l'apprentissage automatique, en particulier pour mesurer les progrès en matière de raisonnement de bon sens. Il a été largement utilisé pour évaluer les grands modèles de langage et d'autres architectures de réseaux neuronaux, et il a influencé le développement de benchmarks ultérieurs, tels que HellaSwag, qui étend l'approche avec des exemples plus complexes et diversifiés. La conception de SWAG souligne l'importance de l'évaluation adverse en IA, poussant les modèles au-delà de la simple correspondance de motifs vers une compréhension plus robuste.
Construction de l'ensemble de données
L'ensemble de données SWAG a été créé en collectant des paires de phrases à partir d'un corpus de légendes vidéo, plus précisément à partir de l'ensemble de données Large Scale Movie Description Challenge (LSMDC), qui contient des descriptions de scènes de films. Les chercheurs ont extrait 73 000 exemples d'entraînement, 20 000 exemples de validation et 20 000 exemples de test. Pour chaque prémisse, ils ont généré quatre fins possibles : une fin correcte (la légende réelle) et trois fins incorrectes. Les fins incorrectes ont été produites à l'aide d'une combinaison de modèles rédigés par des humains et de méthodes de génération automatisées, y compris un modèle de langage entraîné à produire des continuations plausibles mais incorrectes. Ce processus de génération adverse garantit que les distracteurs ne sont pas facilement distinguables par des heuristiques simples, telles que la grammaticalité ou la cohérence thématique.
Chaque exemple de SWAG est formulé comme un problème d'inférence en langage naturel, où la prémisse est une brève description d'une situation, et la tâche consiste à identifier la fin la plus susceptible de suivre. L'ensemble de données couvre un large éventail d'activités quotidiennes, de la cuisine à la conduite en passant par les interactions sociales, obligeant les modèles à s'appuyer sur des connaissances générales du monde et un raisonnement causal.
Évaluation et signification
SWAG est utilisé comme benchmark dans le domaine de l'intelligence artificielle et de l'apprentissage automatique, en particulier pour évaluer les grands modèles de langage et d'autres systèmes d'apprentissage profond. La tâche consiste à atteindre une haute précision dans la sélection de la fin correcte, une supposition aléatoire donnant une précision de 25 %. Les premiers modèles, y compris ceux basés sur des réseaux neuronaux récurrents et les premières architectures de transformeurs, avaient du mal à dépasser 60 % de précision, soulignant la difficulté du raisonnement de bon sens. L'introduction de modèles basés sur les transformeurs, tels que BERT, a conduit à des améliorations significatives, certains modèles atteignant plus de 80 % de précision d'ici 2019.
Le benchmark a joué un rôle déterminant dans la conduite de la recherche sur le raisonnement de bon sens et a été cité dans de nombreux articles. Il est souvent utilisé aux côtés d'autres benchmarks comme GLUE et SuperGLUE pour fournir une évaluation complète des capacités de compréhension du langage d'un modèle. La nature adverse de SWAG le rend particulièrement difficile, car les modèles doivent éviter d'être induits en erreur par des options superficiellement plausibles mais incorrectes.
Relation avec d'autres benchmarks
SWAG a inspiré plusieurs benchmarks de suivi, notamment HellaSwag, introduit en 2019 par le même groupe de recherche. HellaSwag utilise une approche de génération adverse similaire mais avec un ensemble de données plus vaste et plus diversifié, et il est devenu un benchmark populaire pour évaluer les grands modèles de langage. D'autres benchmarks connexes incluent le Winograd Schema Challenge, qui teste la résolution de coréférence, et le benchmark Physical Interaction : Question Answering (PIQA), qui se concentre sur le bon sens physique. SWAG est souvent regroupé avec ces benchmarks dans le cadre d'un effort plus large pour évaluer la compréhension du monde par les systèmes d'IA au-delà de la simple classification de texte.
Le benchmark est également utilisé dans le contexte de l'IA générative, où les modèles sont évalués sur leur capacité à générer un texte cohérent et contextuellement approprié. Bien que SWAG soit une tâche discriminative (choisir parmi des options), il fournit des informations sur les capacités génératives d'un modèle, car un modèle capable de générer des continuations plausibles est susceptible de bien performer sur la tâche de sélection.
Limites et critiques
Malgré son utilisation répandue, SWAG a fait face à certaines critiques. Une limite est que l'ensemble de données est dérivé de légendes de films, ce qui peut ne pas représenter pleinement la diversité des situations quotidiennes, introduisant potentiellement des biais. De plus, le processus de génération adverse, bien qu'efficace, peut parfois produire des distracteurs trop faciles ou trop difficiles, selon le modèle. Certains chercheurs ont noté qu'une haute performance sur SWAG ne se traduit pas nécessairement par un raisonnement de bon sens robuste dans des applications réelles, car la tâche reste relativement étroite. Néanmoins, SWAG reste un outil précieux pour évaluer les progrès en compréhension du langage naturel et a contribué de manière significative au développement de systèmes d'IA plus performants.
Impact sur la recherche en IA
SWAG a eu un impact durable sur le domaine de l'intelligence artificielle, en particulier dans les domaines du traitement du langage naturel et du raisonnement de bon sens. Il a été utilisé pour évaluer une large gamme de modèles, des premiers réseaux neuronaux aux grands modèles de langage de pointe, et a aidé à identifier les forces et les faiblesses de différentes architectures. Le benchmark a également encouragé le développement de techniques d'évaluation adverses, qui sont désormais largement utilisées dans la recherche en IA pour tester la robustesse des modèles. En 2025, SWAG continue d'être référencé dans la littérature académique et est inclus dans de nombreuses suites d'évaluation de modèles, servant d'outil fondamental pour comprendre et améliorer la capacité de l'IA à raisonner sur le monde.
Voir aussi
- intelligence artificielle
- apprentissage automatique
- apprentissage profond
- réseau neuronal
- grand modèle de langage
- transformeur
- OpenAI
- Google DeepMind
- IA générative
- MIT CSAIL
- Stanford AI Lab
- Berkeley AI Research
- Université Carnegie Mellon
- Université de Toronto
- Allen Institute for AI
- raisonnement de bon sens
- traitement du langage naturel
- benchmark
- HellaSwag
- Winograd Schema Challenge