TextVQA est une tâche de recherche et un benchmark dans le domaine de l'intelligence artificielle qui combine la vision par ordinateur et le traitement du langage naturel. Il se concentre sur la réponse à des questions sur des images où la réponse correcte dépend de la lecture et de la compréhension du texte qui apparaît dans l'image elle-même. Cela inclut le texte sur les panneaux de signalisation, les étiquettes de produits, les menus de restaurants, les notes manuscrites et d'autres objets du monde réel. Contrairement à la réponse à des questions visuelles standard (VQA), qui repose souvent sur la reconnaissance d'objets et de scènes, TextVQA teste spécifiquement la capacité d'un modèle à effectuer une reconnaissance optique de caractères (OCR) et à intégrer les informations textuelles extraites avec le contexte visuel et la sémantique de la question.
La tâche a été introduite pour combler une lacune dans les premiers ensembles de données VQA, qui contenaient généralement des images avec peu ou pas de texte significatif. TextVQA exige qu'un système non seulement détecte et reconnaisse le texte, mais aussi raisonne sur sa pertinence par rapport à la question, impliquant souvent un raisonnement spatial (par exemple, « Qu'est-ce qui est écrit au-dessus de la porte ? ») ou une inférence de bon sens (par exemple, « Quel type de magasin est-ce ? » en se basant sur une enseigne). Le benchmark a stimulé des recherches significatives dans l'apprentissage multimodal, en particulier dans le développement d'architectures capables de traiter conjointement les caractéristiques visuelles, les jetons OCR et les représentations linguistiques.
Ensemble de données et benchmark
L'ensemble de données TextVQA a été publié en 2019 par des chercheurs du Georgia Institute of Technology et de Facebook AI Research (maintenant partie de Meta AI). Il se compose de 28 408 questions sur 4 972 images, les images provenant de l'ensemble de données Open Images. Chaque image contient au moins un mot de texte, et les questions sont conçues pour exiger la lecture de ce texte afin de répondre correctement. L'ensemble de données est divisé en ensembles d'entraînement (34 602 questions), de validation (5 000 questions) et de test, l'ensemble de test étant utilisé pour une évaluation officielle via un serveur en ligne.
Les questions sont ouvertes et exigent des réponses courtes, généralement de un à trois mots. L'ensemble de données comprend des annotations OCR de vérité terrain pour chaque image, fournissant des boîtes englobantes de mots et le texte reconnu. Cela permet aux modèles d'être entraînés avec une supervision OCR explicite ou d'utiliser des caractéristiques OCR pré-extraites. La métrique d'évaluation est la précision VQA standard, où une réponse prédite est considérée comme correcte si elle correspond à l'une des dix réponses de vérité terrain fournies par des humains.
Architectures de modèles
Les premières approches de TextVQA utilisaient des pipelines modulaires combinant un système OCR pré-entraîné (comme Rosetta ou Tesseract) avec un réseau de neurones pour le raisonnement. Une architecture courante était le modèle Look, Read, Reason, Answer (LoRRA), qui utilisait un réseau résiduel pour les caractéristiques d'image, un LSTM bidirectionnel pour l'encodage des questions et une couche de fusion multimodale pour combiner les caractéristiques visuelles, textuelles et OCR. LoRRA incorporait également un mécanisme de copie qui permettait au modèle de produire directement des mots à partir des jetons OCR, ce qui s'est avéré efficace pour répondre à des questions nécessitant un texte verbatim.
Les modèles suivants ont tiré parti des architectures basées sur transformeur, telles que M4C (Multimodal Multi-Copy Mesh), qui a introduit un processus de décodage itératif des réponses et un mécanisme de multi-copie pour gérer plusieurs jetons OCR. Plus tard, des modèles unifiés de vision-langage comme les systèmes basés sur grand modèle de langage (par exemple, LLaVA, Flamingo) ont été adaptés pour TextVQA en les affinant sur l'ensemble de données, atteignant une précision plus élevée en tirant parti d'un pré-entraînement à grande échelle sur des paires image-texte.
Défis et évaluation
TextVQA présente plusieurs défis uniques. Premièrement, l'OCR dans des scènes naturelles est difficile en raison des polices variées, de l'éclairage, de l'occlusion et de la distorsion de perspective. Deuxièmement, le modèle doit déterminer quel texte est pertinent pour la question, car les images contiennent souvent plusieurs instances de texte. Troisièmement, le raisonnement peut nécessiter de combiner le texte avec des indices visuels, comme identifier la couleur d'un panneau ou la position d'une étiquette. Quatrièmement, certaines questions exigent un raisonnement arithmétique ou temporel basé sur le texte (par exemple, « À quelle heure le magasin ferme-t-il ? » à partir d'un panneau).
L'évaluation est effectuée sur l'ensemble de test, les modèles étant classés par précision. En 2024, les modèles de pointe atteignent environ 80 % de précision, contre environ 40 % pour les premières lignes de base. Le benchmark a également été étendu à des tâches connexes comme OCR-VQA et ST-VQA, qui se concentrent sur la compréhension du texte de scène dans différents contextes.
Impact et applications
TextVQA a influencé le développement de systèmes d'IA multimodaux, en particulier dans le contexte de la compréhension de documents et des technologies d'assistance. Les applications incluent l'aide aux utilisateurs malvoyants pour lire des panneaux ou des étiquettes, le traitement automatisé de formulaires et l'amélioration des moteurs de recherche qui indexent des images avec du texte. La tâche a également stimulé la recherche sur les mécanismes de attention croisée et de encodage positionnel pour l'ancrage spatial du texte.
Le benchmark est largement utilisé dans la recherche académique et l'industrie, avec Google DeepMind, OpenAI et d'autres laboratoires l'utilisant comme banc d'essai pour évaluer les modèles de vision-langage. Il a également été intégré dans des benchmarks plus larges comme la suite de raisonnement en intelligence artificielle, contribuant à la compréhension de la manière dont les modèles gèrent le raisonnement multimodal avec des indices textuels.
Tâches et ensembles de données connexes
TextVQA fait partie d'une famille de tâches de compréhension de texte de scène. Les ensembles de données connexes incluent ST-VQA (Scene Text Visual Question Answering), qui se concentre sur le raisonnement basé sur le texte avec une distribution d'images différente, et OCR-VQA, qui utilise des images de couvertures de livres et pose des questions sur les titres et les auteurs. Ces benchmarks repoussent collectivement les limites du apprentissage automatique dans la combinaison de l'OCR avec un raisonnement de haut niveau.
Orientations futures
Les travaux futurs sur TextVQA pourraient impliquer une gestion plus robuste du texte multilingue, une meilleure intégration avec les modèles de IA générative capables de produire des réponses plus longues et une meilleure généralisation à des domaines non vus. Les chercheurs explorent également comment rendre les modèles plus interprétables en expliquant leurs étapes de raisonnement et comment réduire la dépendance à de grands ensembles de données annotés grâce à l'apprentissage auto-supervisé sur des images non étiquetées avec du texte.