Winoground est un ensemble de données de référence et une suite d'évaluation conçus pour tester la compréhension compositionnelle des modèles vision-langage. Il a été introduit en 2022 par des chercheurs de l'Université de Toronto et d'autres institutions, et il est devenu un point de référence standard pour évaluer si les modèles comprennent réellement la relation entre le contenu visuel et la structure linguistique, plutôt que de s'appuyer sur des raccourcis statistiques ou des corrélations superficielles. Le nom du benchmark est un mot-valise de « Winograd » (en référence au Winograd Schema Challenge pour le langage naturel) et de « ground » (comme dans l'ancrage du langage aux images).
La tâche principale de Winoground implique un ensemble de 400 exemples soigneusement construits. Chaque exemple se compose de deux images et de deux légendes. Les légendes sont conçues pour être compositionnellement difficiles : elles contiennent le même ensemble de mots mais dans un ordre différent, ce qui change le sens. Par exemple, une légende pourrait être « le chien poursuit le chat » tandis que l'autre est « le chat poursuit le chien ». Les deux images correspondantes représentent chaque scénario. Un modèle reçoit les deux images et les deux légendes et doit correctement associer chaque légende à son image correspondante. Le succès exige que le modèle analyse la structure syntaxique des légendes et l'aligne avec les relations visuelles dans les images, telles que les rôles agent-action-patient, les prépositions spatiales (par exemple, « sur » vs « dans »), ou les paires attribut-objet.
Le benchmark a été créé pour remédier à une faiblesse connue de nombreux modèles vision-langage : ils réussissent souvent bien sur des tâches qui peuvent être résolues en reconnaissant des objets individuels ou en utilisant des a priori linguistiques, mais ils échouent lorsque la tâche exige de comprendre comment l'arrangement des mots change le sens. Par exemple, un modèle pourrait identifier correctement qu'une image contient un chien et un chat, mais il pourrait ne pas être capable de déterminer quel animal effectue l'action. Winoground fournit un test contrôlé pour cette capacité, et il a révélé des écarts significatifs dans les performances de modèles même de pointe.
Conception et évaluation
Chaque exemple de Winoground est noté selon trois métriques distinctes : « score de légende », « score d'image » et « score de groupe ». Le score de légende mesure la proportion d'exemples où le modèle associe correctement les deux légendes à leurs images respectives. Le score d'image mesure la proportion où le modèle associe correctement les deux images à leurs légendes respectives (ce qui est symétrique mais peut différer en raison d'asymétries du modèle). Le score de groupe est le plus strict : il exige que le modèle obtienne les deux correspondances légende-image correctes en un seul essai, ce qui signifie que le modèle doit non seulement identifier la paire correcte mais aussi éviter toute confusion entre les deux options.
L'ensemble de données a été construit par des annotateurs humains qui ont généré les paires d'images et les légendes. Les légendes ont été conçues comme des paires minimales, ne différant que par un élément compositionnel spécifique. Les images ont ensuite été sourcées ou générées pour correspondre précisément à chaque légende. Les créateurs ont également filtré les exemples pour garantir qu'ils ne pouvaient pas être résolus par la simple détection d'objets, et ils ont vérifié que les annotateurs humains pouvaient résoudre la tâche avec une précision quasi parfaite, établissant ainsi une référence humaine.
Résultats et constatations
Les évaluations initiales de modèles vision-langage de premier plan sur Winoground ont montré que la plupart des modèles obtenaient des performances au niveau du hasard ou proches de celui-ci (environ 25 % pour le score de groupe, car il existe deux appariements possibles et le modèle doit choisir le bon). Par exemple, des modèles comme CLIP (Contrastive Language-Image Pre-training) et d'autres architectures à double encodeur, qui intègrent images et texte dans un espace partagé, échouaient souvent à distinguer les deux légendes. Cela était surprenant car ces modèles avaient obtenu des scores élevés sur d'autres benchmarks comme la récupération de légendes d'images ou la réponse à des questions visuelles. Cet échec a mis en évidence que ces modèles ne réalisaient pas réellement un raisonnement compositionnel ; au lieu de cela, ils s'appuyaient souvent sur la présence d'objets individuels ou sur des corrélations entre mots et caractéristiques visuelles qui n'exigeaient pas de comprendre la structure relationnelle.
Des travaux ultérieurs ont utilisé Winoground pour sonder les limites de diverses architectures de modèles, y compris celles basées sur les transformers et les grands modèles de langage lorsqu'ils sont combinés avec des encodeurs visuels. Les chercheurs ont constaté que les modèles dotés de mécanismes d'attention plus sophistiqués ou entraînés avec des objectifs supplémentaires, tels que des couches de attention croisée ou de attention multi-têtes, montrent parfois des performances améliorées, mais même dans ce cas, les scores restent bien en dessous des niveaux humains. Le benchmark a également été utilisé pour étudier l'effet de l'échelle des données d'entraînement et l'utilisation de données synthétiques, certaines études montrant que l'augmentation des données d'entraînement avec des exemples compositionnels peut améliorer les performances sur Winoground, mais la généralisation reste un défi.
Relation avec d'autres benchmarks
Winoground fait partie d'une famille plus large de benchmarks qui testent la généralisation compositionnelle en IA. Il est conceptuellement lié au Winograd Schema Challenge en traitement du langage naturel, qui teste la résolution de coréférence et le raisonnement de sens commun. Dans le domaine vision-langage, il complète d'autres benchmarks comme VQA (réponse à des questions visuelles) et la récupération image-texte, mais il isole spécifiquement l'aspect compositionnel. Contrairement aux tâches qui permettent aux modèles d'utiliser des a priori linguistiques ou des statistiques de co-occurrence d'objets, Winoground force le modèle à utiliser la structure syntaxique exacte de la légende. Cela en fait un outil de diagnostic précieux pour les chercheurs développant de nouvelles architectures, telles que celles basées sur les réseaux résiduels ou les U-Net pour l'encodage d'images, et pour des techniques d'entraînement comme le apprentissage par curriculum ou le RLAIF (apprentissage par renforcement à partir de retours d'IA).
Le benchmark a également inspiré des variations et des extensions, comme Winoground pour la vidéo ou pour des contextes multilingues, bien que celles-ci soient moins standardisées. L'ensemble de données original est publiquement disponible, et il a été intégré dans plusieurs suites d'évaluation de modèles utilisées par des entreprises et des laboratoires de recherche, y compris ceux de OpenAI, Google DeepMind et Anthropic, comme moyen de suivre les progrès sur la compréhension compositionnelle.
Limites et critiques
Certains chercheurs ont noté que Winoground présente des limites. L'ensemble de données est relativement petit (400 exemples), ce qui peut entraîner une variance élevée dans les résultats d'évaluation, en particulier pour les modèles stochastiques. Les exemples sont également tous en anglais et se concentrent sur un ensemble limité de phénomènes compositionnels, tels que l'ordre sujet-verbe-objet et les relations spatiales, ce qui peut ne pas capturer toute la gamme des défis compositionnels dans la compréhension vision-langage. De plus, la nature binaire de la tâche (associer deux images à deux légendes) peut parfois être résolue par un modèle utilisant une heuristique simple, comme se concentrer sur un seul mot distinctif, sans comprendre pleinement la phrase. Malgré ces critiques, Winoground reste un benchmark largement cité et influent dans le domaine de l'intelligence artificielle et de l'apprentissage automatique, et il continue d'être utilisé comme test standard pour les nouveaux modèles et méthodes d'entraînement.