Visual7W est un ensemble de données de référence pour la réponse à des questions visuelles (VQA) et l'ancrage visuel, présenté pour la première fois en 2016 par des chercheurs de l'Université Stanford. Il comprend 47 300 images du monde réel provenant de Microsoft COCO et plus de 327 000 paires question-réponse, chacune associée à une ou plusieurs boîtes englobantes qui localisent les preuves visuelles soutenant la réponse. L'ensemble de données est remarquable pour son accent sur l'ancrage, exigeant des modèles qu'ils répondent non seulement aux questions mais aussi qu'ils identifient les régions d'image pertinentes, une capacité centrale pour les systèmes d'IA interprétables.
Le nom Visual7W dérive des sept types de questions qu'il couvre : quoi, où, quand, qui, pourquoi et comment, avec « lequel » ajouté comme septième catégorie pour traiter les tâches de sélection d'objets. Contrairement aux ensembles de données VQA antérieurs qui se concentraient principalement sur la reconnaissance d'objets, Visual7W inclut une part substantielle de questions « pourquoi » et « comment », qui exigent un raisonnement sur les relations causales et procédurales dans les scènes. Cette conception en fait un test rigoureux pour les modèles de deep learning, car elle fait le pont entre la perception et la cognition de niveau supérieur.
Structure de l'ensemble de données
Visual7W est organisé en deux composantes principales : QA à choix multiples et QA à réponse ouverte. Le sous-ensemble à choix multiples fournit quatre réponses candidates par question, tandis que le sous-ensemble à réponse ouverte exige une génération libre. Chaque question est annotée avec une boîte d'ancrage, qui est une boîte englobante autour de la région d'image contenant la réponse. L'ensemble de données est divisé en ensembles d'entraînement, de validation et de test, l'ensemble de test étant divisé en une partie publique et une partie cachée utilisée pour l'évaluation officielle.
Toutes les images proviennent de l'ensemble de données Microsoft COCO, garantissant des scènes diverses avec des objets et des activités quotidiens. Les annotations ont été collectées via Amazon Mechanical Turk, avec des mesures de contrôle qualité pour filtrer les questions ambiguës ou incorrectes. La longueur moyenne des questions est d'environ 8 mots, et le vocabulaire couvre environ 4 000 mots, ce qui en fait un espace linguistique compact mais difficile pour les modèles de réseaux neuronaux.
Formulation de la tâche
La tâche principale dans Visual7W est l'ancrage visuel, où un modèle reçoit une image et une question et doit produire à la fois une réponse et une boîte englobante. Cela est formalisé comme un problème de prédiction conjointe : le modèle doit localiser la région qui répond à la question, puis classer ou générer la réponse en fonction de cette région. Les métriques d'évaluation incluent la précision de la réponse et la précision de l'ancrage, l'ancrage étant mesuré par l'Intersection sur Union (IoU) entre les boîtes prédites et les boîtes de vérité terrain.
Une tâche secondaire est la réponse à des questions visuelles sans ancrage, ce qui permet une comparaison avec les ensembles de données antérieurs. Cependant, l'exigence d'ancrage rend Visual7W particulièrement adapté à l'étude des mécanismes d'attention, car les modèles doivent apprendre à se concentrer sur les parties pertinentes d'une image. Cela a influencé les architectures ultérieures, telles que celles utilisant des couches de multi-head attention et de cross-attention, qui sont désormais standard dans les modèles de vision-langage basés sur transformer.
Importance de l'ensemble de référence
Visual7W a été parmi les premiers ensembles de référence VQA à mettre l'accent sur les questions « pourquoi » et « comment », qui exigent un raisonnement de sens commun au-delà de la simple correspondance de motifs. Par exemple, une question comme « Pourquoi la personne tient-elle un parapluie ? » exige une compréhension du contexte météorologique et une inférence causale. Cela a poussé le domaine vers des grands modèles de langage et des approches de pré-entraînement vision-langage plus sophistiqués.
L'ensemble de données a été utilisé pour évaluer de nombreux modèles, des premiers réseaux résiduels combinés à des réseaux récurrents aux systèmes modernes de IA générative. Il a également servi de précurseur à des ensembles de référence plus grands comme Visual Genome et GQA, qui ont élargi la portée du raisonnement relationnel. Des chercheurs d'institutions telles que le Stanford AI Lab et Berkeley AI Research ont utilisé Visual7W pour tester des techniques d'interprétabilité et de visualisation de l'attention.
Limites et critiques
Malgré ses contributions, Visual7W présente des limites connues. Les boîtes d'ancrage sont souvent grossières, couvrant des régions plus grandes que l'objet spécifique référencé, ce qui peut gonfler la précision de l'ancrage. L'ensemble de données souffre également d'un biais linguistique, où certaines réponses corrèlent avec les types de questions, permettant aux modèles d'exploiter des raccourcis sans véritable compréhension visuelle. De plus, les questions « pourquoi » et « comment » sont relativement rares par rapport aux questions « quoi » et « où », limitant la profondeur de l'évaluation du raisonnement.
Les critiques ont noté que le format à choix multiples peut être contourné par des régularités statistiques, et que les réponses ouvertes sont évaluées avec une correspondance exacte de chaînes, ce qui pénalise les réponses sémantiquement correctes mais paraphrasées. Ces problèmes ont motivé le développement de protocoles d'évaluation plus robustes dans les ensembles de données ultérieurs, tels que l'utilisation de retours humains de style RLHF pour la notation.
Héritage et impact
Visual7W reste une ressource précieuse pour étudier l'ancrage visuel et la réponse à des questions, en particulier à des fins éducatives et pour l'évaluation de modèles basés sur l'attention. Ses annotations d'ancrage ont été réutilisées pour des tâches comme le raisonnement de sens commun visuel et la compréhension d'expressions référentielles. L'accent mis par l'ensemble de données sur l'interprétabilité s'aligne sur les tendances plus larges du machine learning vers une IA explicable, et il continue d'être cité dans la recherche sur l'apprentissage multimodal et les stratégies de augmentation de données.
Au milieu des années 2020, Visual7W est moins fréquemment utilisé comme référence principale en raison de l'émergence d'ensembles de données plus grands et plus complexes, mais il reste une référence standard pour évaluer les capacités fondamentales de VQA. Ses principes de conception ont influencé la création d'ensembles de données pour la conduite autonome et la robotique, où l'ancrage est essentiel pour une prise de décision sûre.