InfographicVQA est un ensemble de données de référence conçu pour la réponse à des questions visuelles (VQA) sur des infographies, qui sont des documents visuels complexes combinant texte, graphiques, icônes et autres éléments graphiques pour transmettre des informations. Contrairement aux images naturelles, les infographies présentent des défis uniques pour les systèmes d'IA car elles exigent un raisonnement conjoint sur le contenu textuel, la disposition visuelle et les représentations de données telles que les diagrammes à barres, les diagrammes circulaires et les organigrammes. L'ensemble de données a été introduit en 2022 par des chercheurs pour repousser les limites de la compréhension multimodale dans les systèmes d'Artificial intelligence et de machine learning.
L'objectif principal d'InfographicVQA est d'évaluer et d'améliorer la capacité des modèles d'IA à répondre à des questions qui exigent une synthèse d'informations provenant à la fois des composantes textuelles et graphiques d'une infographie. Par exemple, une question pourrait demander : « Quel est le pourcentage de sources d'énergie renouvelable indiqué dans le diagramme circulaire ? », ce qui nécessite que le modèle localise le graphique, extraie les données pertinentes et les associe à l'intention de la question. Cela va au-delà des tâches VQA standard qui se concentrent sur les images naturelles, car les infographies contiennent souvent des informations denses et structurées absentes des photographies typiques.
Composition de l'ensemble de données et annotation
L'ensemble de données InfographicVQA se compose de plus de 5 000 infographies collectées à partir de diverses sources publiques, notamment des sites éducatifs, des articles de presse et des rapports gouvernementaux. Chaque infographie est associée à un ensemble de paires question-réponse, totalisant plus de 30 000 questions. Les questions sont conçues pour couvrir une gamme de types de raisonnement, y compris la recherche simple, les opérations arithmétiques, la comparaison et l'inférence. Les annotations ont été créées par des annotateurs humains chargés de générer des questions nécessitant une compréhension des éléments visuels et textuels, garantissant ainsi que la référence n'est pas trivialement résoluble par des modèles textuels ou image seuls.
L'ensemble de données est divisé en ensembles d'entraînement, de validation et de test, avec une répartition typique de 70 % pour l'entraînement, 10 % pour la validation et 20 % pour le test. L'ensemble de test est conservé privé pour éviter le surapprentissage, et l'évaluation est effectuée via un serveur en ligne qui calcule la précision basée sur la correspondance exacte et également une métrique assouplie qui permet les synonymes et les paraphrases.
Défis et métriques d'évaluation
InfographicVQA pose plusieurs défis distincts pour les modèles d'IA. Premièrement, la complexité visuelle des infographies exige que les modèles gèrent une grande variété de mises en page, de polices et de schémas de couleurs. Deuxièmement, les questions nécessitent souvent un raisonnement en plusieurs étapes, comme lire une étiquette, localiser un point de données correspondant et effectuer un calcul. Troisièmement, la présence de texte et de graphiques signifie que les modèles doivent efficacement fusionner des informations provenant de multiples modalités, ce qui est un problème central dans le Deep learning multimodal.
L'évaluation est principalement basée sur la précision, définie comme le pourcentage de questions où la réponse prédite par le modèle correspond exactement à la réponse de référence. De plus, une métrique plus indulgente, appelée « WUPS » (similarité de Wu-Palmer), est utilisée pour mesurer la similarité sémantique entre les réponses prédites et de référence, permettant un crédit partiel. Les modèles de pointe en 2024 atteignent environ 50 à 60 % de précision de correspondance exacte, indiquant une marge d'amélioration significative.
Relation avec d'autres références VQA
InfographicVQA fait partie d'une famille plus large de références VQA, mais il est spécifiquement adapté à la compréhension de documents. Il complète d'autres ensembles de données comme TextVQA, qui se concentre sur le texte dans les images naturelles, et DocVQA, qui cible les documents numérisés. Le différenciateur clé est que les infographies sont conçues pour être visuellement attrayantes et denses en informations, utilisant souvent des éléments graphiques pour encoder des données, ce qui nécessite un ensemble de compétences différent de la lecture de texte brut. Cela fait d'InfographicVQA un banc d'essai précieux pour développer des Large language models et des architectures basées sur Transformer (architecture) capables de gérer des informations visuelles structurées.
Applications et impact
Le développement de modèles performants sur InfographicVQA a des applications pratiques dans des domaines tels que l'analyse automatisée de documents, les outils d'accessibilité pour les utilisateurs malvoyants et la technologie éducative. Par exemple, un système d'IA capable de répondre à des questions sur une infographie pourrait aider les étudiants à apprendre à partir de matériaux visuels ou assister les professionnels dans l'extraction rapide d'informations à partir de rapports riches en données. La référence a également stimulé la recherche sur les mécanismes de Multi-Head Attention et les techniques de Cross-Attention cruciales pour aligner les caractéristiques visuelles et textuelles.
Orientations futures
Les travaux futurs sur InfographicVQA pourraient impliquer l'expansion de l'ensemble de données pour inclure des types d'infographies plus diversifiés, tels que des infographies interactives ou animées, et l'intégration de tâches de raisonnement plus complexes nécessitant des connaissances externes. De plus, il existe un intérêt pour développer des modèles capables non seulement de répondre à des questions, mais aussi de générer des explications pour leurs réponses, ce qui améliorerait l'interprétabilité et la confiance. Alors que la Generative AI continue de progresser, l'intégration d'InfographicVQA avec des architectures de Neural network capables de gérer à la fois la vision et le langage de manière unifiée reste un domaine de recherche actif.