GQA (Question-Réponse sur Graphes) est un ensemble de données de référence pour la réponse à des questions visuelles (VQA) qui met l'accent sur le raisonnement compositionnel. Il a été introduit en 2019 par des chercheurs de l'Université Stanford et de l'Université de Toronto pour remédier aux limitations des ensembles de données VQA antérieurs, qui contenaient souvent des biais permettant aux modèles de répondre correctement sans comprendre réellement l'image. GQA fournit une collection à grande échelle d'images du monde réel associées à des questions exigeant une inférence logique en plusieurs étapes, un raisonnement spatial et une reconnaissance d'attributs, ce qui en fait un test rigoureux pour les systèmes d'IA.
L'ensemble de données est construit sur l'ensemble de données Visual Genome, en exploitant ses graphes de scène détaillés. Ces graphes représentent les objets, les attributs et les relations au sein d'une image, permettant la génération automatique de questions à la fois diverses et sémantiquement contrôlées. GQA comprend plus de 22 millions de questions sur plus de 113 000 images, chaque question étant accompagnée d'un programme fonctionnel qui spécifie les étapes de raisonnement nécessaires pour arriver à la réponse. Cette conception permet une évaluation fine de la capacité d'un modèle à effectuer des types spécifiques de raisonnement, tels que comparer des attributs, compter des objets ou comprendre des relations spatiales.
Structure Compositionnelle
L'innovation centrale de GQA réside dans sa génération compositionnelle de questions. Plutôt que de s'appuyer sur des annotateurs humains pour rédiger les questions, l'ensemble de données utilise une approche basée sur une grammaire qui combine des éléments de graphe de scène en requêtes complexes. Par exemple, une question comme « Le chat est-il à gauche du chien qui est brun ? » exige que le modèle identifie d'abord le chien brun, puis détermine sa relation spatiale avec le chat. Cette nature compositionnelle garantit que les questions ne sont pas de simples correspondances de motifs, mais exigent une compréhension réelle du contenu de l'image.
Chaque question dans GQA est associée à un programme sémantique, qui est une séquence d'opérations telles que « filtrer », « relier », « compter » ou « comparer ». Ces programmes servent de vérité terrain pour le processus de raisonnement, permettant aux chercheurs d'analyser où les modèles échouent. L'ensemble de données comprend également une répartition équilibrée qui réduit les biais de réponse, garantissant que chaque type de réponse apparaît avec une fréquence similaire parmi les questions, ce qui force les modèles à s'appuyer sur des preuves visuelles plutôt que sur des raccourcis statistiques.
Évaluation et Métriques
GQA est principalement évalué en utilisant la précision, mais sa conception permet des métriques plus granulaires. Les chercheurs peuvent évaluer les performances sur des types de questions spécifiques, tels que « vérifier » (oui/non), « choisir » (questions à choix multiples), « interroger » (attribut ou relation) et « logique » (impliquant des conjonctions, disjonctions ou négations). Cette décomposition aide à identifier les forces et les faiblesses du raisonnement des modèles. Par exemple, un modèle peut exceller dans les requêtes d'attributs simples, mais avoir du mal avec le raisonnement spatial multi-sauts.
L'ensemble de données fournit également une métrique de « cohérence », qui mesure si un modèle donne la même réponse à des questions sémantiquement équivalentes. Cela est important car un modèle qui devine correctement sur une formulation mais incorrectement sur une autre peut ne pas comprendre réellement le concept sous-jacent. La conception équilibrée de GQA et ses annotations de programmes en font une référence standard dans la communauté de l'apprentissage-automatique, souvent utilisée aux côtés d'autres ensembles de données VQA comme VQA v2 et CLEVR.
Impact sur la Recherche en IA
GQA a influencé le développement d'architectures de réseau-neuronal pour le raisonnement visuel. De nombreux modèles, y compris ceux basés sur des cadres de Transformer (architecture) et de grand-modèle-de-langage, ont été évalués sur GQA pour tester leur capacité à intégrer des informations visuelles et textuelles. L'ensemble de données a mis en évidence les limites des méthodes purement basées sur l'attention, qui peuvent capturer des corrélations mais échouer dans le raisonnement systématique. Cela a motivé la recherche sur les réseaux modulaires, les réseaux de neurones graphiques et les approches neuro-symboliques qui modélisent explicitement la structure compositionnelle des questions.
Dans le contexte de l'apprentissage-profond et de l'intelligence-artificielle, GQA sert de référence difficile qui repousse les limites de la compréhension visuelle. Il a été utilisé dans de nombreux articles académiques et compétitions, contribuant à une meilleure compréhension de la manière de construire des systèmes d'IA capables de raisonner sur le monde visuel. L'ensemble de données reste pertinent au milieu des années 2020, avec des efforts continus pour améliorer les performances des modèles et étendre ses principes aux domaines vidéo et 3D.
Limitations et Critiques
Malgré ses forces, GQA présente des limitations. Les questions sont générées à partir de graphes de scène, qui peuvent ne pas capturer toute la complexité du langage naturel ou l'ambiguïté du monde réel. Certains critiques soutiennent que l'ensemble de données contient encore des biais, tels qu'une surreprésentation de certaines catégories d'objets ou de relations spatiales. De plus, la dépendance aux images de Visual Genome, qui sont biaisées vers des scènes quotidiennes, peut ne pas se généraliser à des domaines spécialisés comme l'imagerie médicale ou la conduite autonome.
Une autre préoccupation est que les programmes fonctionnels, bien qu'utiles pour l'analyse, ne sont pas toujours disponibles au moment de l'inférence dans les applications du monde réel. Les modèles entraînés sur GQA peuvent surajuster les structures de questions spécifiques, limitant potentiellement leur généralisation à des tâches VQA plus ouvertes. Les chercheurs ont proposé des extensions et des variations pour résoudre ces problèmes, mais GQA reste une référence fondamentale pour le raisonnement compositionnel.
Directions Futures
Les principes derrière GQA sont étendus de plusieurs manières. Les ensembles de données plus récents intègrent des types de questions plus diversifiés, tels que le raisonnement contrefactuel ou l'inférence causale. Il existe également un intérêt pour appliquer l'évaluation de style GQA aux modèles d'ia-générative, qui peuvent produire des réponses en texte libre plutôt que de sélectionner parmi un ensemble fixe. Alors que les systèmes de grand-modèle-de-langage deviennent plus intégrés à la vision, des références comme GQA sont cruciales pour évaluer si ces modèles comprennent réellement les scènes ou imitent simplement des schémas de raisonnement. L'évolution continue des références VQA garantit que l'héritage de GQA continue de façonner le domaine de la compréhension visuelle.
Références
- Hudson, D. A., & Manning, C. D. (2019). GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
- Johnson, J., et al. (2017). CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning. CVPR.