DocVQA (Document Visual Question Answering) est un jeu de données de référence conçu pour évaluer la capacité des systèmes d'intelligence artificielle à répondre à des questions sur le contenu d'images de documents. Contrairement à la question-réponse visuelle (VQA) traditionnelle qui se concentre sur les scènes naturelles, DocVQA cible les défis uniques des documents, qui combinent contenu textuel, mises en page complexes, tableaux, figures et typographies variées. La tâche exige d'un modèle non seulement de lire le texte, mais aussi de comprendre l'agencement spatial et les indices visuels pour localiser et synthétiser la réponse correcte.
Le jeu de données a été introduit en 2020 par des chercheurs de l'Université du Pays basque (UPV/EHU) et de l'Université d'Alicante, dirigés par Ruben Tito et ses collègues. Il a été créé pour combler une lacune dans les références existantes, qui se concentraient soit sur les images naturelles, soit sur l'extraction de texte pur sans composante de raisonnement. DocVQA est depuis devenu un point de référence standard pour les progrès en compréhension de documents, stimulant les avancées dans les modèles multimodaux qui combinent le traitement de la vision et du langage.
Composition du jeu de données
Le jeu de données DocVQA comprend plus de 50 000 questions issues de plus de 12 000 pages de documents individuelles. Ces documents proviennent d'une gamme diversifiée d'industries et de formats, notamment des articles académiques, des rapports commerciaux, des factures, des formulaires et des manuels techniques. Chaque question est associée à une réponse de vérité terrain, qui peut être une courte phrase, un nombre, une date ou une liste d'éléments. Les questions sont conçues pour nécessiter différents niveaux de compréhension, allant de la simple récupération de texte (par exemple, « Quel est le numéro de facture ? ») à un raisonnement plus complexe impliquant la combinaison d'informations provenant de plusieurs parties du document (par exemple, « Quel est le coût total de tous les articles listés dans le tableau ? »).
Le jeu de données est divisé en ensembles d'entraînement, de validation et de test. L'ensemble d'entraînement contient environ 41 000 questions, l'ensemble de validation environ 5 000, et l'ensemble de test environ 5 000. L'ensemble de test est mis de côté et utilisé pour l'évaluation officielle, avec des résultats rapportés sur un classement public. Les questions sont catégorisées par type, y compris les réponses oui/non, les nombres, les dates et les phrases courtes, permettant une analyse fine des performances du modèle selon différents formats de questions.
Métriques d'évaluation
Les performances sur DocVQA sont principalement mesurées à l'aide de la métrique de similarité de Levenshtein normalisée moyenne (ANLS). Contrairement à la précision de correspondance exacte, l'ANLS tolère les erreurs d'orthographe mineures ou les légères variations de formulation, ce qui est plus réaliste pour la compréhension de documents où des erreurs d'OCR (reconnaissance optique de caractères) ou des différences de formatage peuvent survenir. Le score ANLS varie de 0 à 1, 1 indiquant un accord parfait entre les réponses prédites et celles de vérité terrain. Cette métrique pénalise plus lourdement les réponses incorrectes que les correspondances partielles, fournissant une mesure robuste de la qualité du modèle.
En plus de l'ANLS, certaines études rapportent la précision de correspondance exacte comme métrique secondaire. Le classement officiel classe les soumissions par score ANLS, les modèles les plus performants atteignant des scores supérieurs à 0,90 en 2024, indiquant des performances quasi humaines sur la référence. Cependant, ces scores élevés proviennent souvent de modèles volumineux et intensifs en calcul, et il reste un écart entre les performances sur la référence et la robustesse dans le monde réel.
Relation avec d'autres références
DocVQA fait partie d'une famille plus large de références de compréhension de documents, notamment SQuAD pour la question-réponse textuelle et Visual QA pour les images naturelles. Il est étroitement lié à d'autres tâches spécifiques aux documents telles que l'OCR, l'extraction d'informations clés et l'analyse de mise en page. La référence a inspiré des jeux de données dérivés comme InfographicVQA et ChartQA, qui se concentrent sur des types de documents plus spécialisés. Dans le contexte de l'intelligence-artificielle et de l'apprentissage-automatique, DocVQA sert de banc d'essai pour les systèmes multimodaux qui intègrent des architectures de réseau-neuronal, en particulier celles basées sur le modèle transformateur.
L'essor des grand-modèle-de-langage (LLM) dotés de capacités de vision, tels que ceux développés par OpenAI, Anthropic et Google DeepMind, a suscité un regain d'intérêt pour DocVQA. Ces modèles, souvent construits sur des mécanismes d'encodeur-decodeur ou d'attention-multi-tête, sont évalués sur DocVQA pour comparer leurs capacités de raisonnement documentaire. La référence a également été utilisée pour évaluer les performances de systèmes d'IA documentaire spécialisés de sociétés comme Amazon Web Services et Google Cloud, qui proposent des services de traitement de documents.
Défis et limites
Malgré son utilisation répandue, DocVQA présente plusieurs limites. Le jeu de données est principalement en anglais, ce qui limite son applicabilité à la compréhension de documents multilingues. Les documents sont relativement propres et bien numérisés, alors que les documents du monde réel contiennent souvent du bruit, de l'écriture manuscrite ou des schémas de couleurs complexes. De plus, les questions sont générées par des annotateurs humains et peuvent ne pas couvrir tous les types de raisonnement possibles, ce qui pourrait biaiser les modèles vers certains schémas. La référence ne teste pas non plus explicitement la robustesse aux perturbations adverses ou au changement de domaine, ce qui est important pour le déploiement dans des environnements de production.
Un autre défi est le coût computationnel pour atteindre des scores élevés. De nombreux modèles les plus performants s'appuient sur un pré-entraînement à grande échelle sur des jeux de données massifs, ce qui n'est pas réalisable pour tous les groupes de recherche. Cela a conduit à un intérêt croissant pour des architectures et des méthodes d'entraînement plus efficaces, telles que l'élagage-de-modèle et l'augmentation-de-données, pour rendre la compréhension de documents plus accessible.
Orientations futures
Le domaine de la question-réponse visuelle documentaire évolue rapidement. Les travaux futurs pourraient se concentrer sur l'extension de DocVQA à d'autres langues et types de documents, l'intégration de tâches de raisonnement plus complexes et l'amélioration de l'interprétabilité des modèles. Il y a également une poussée vers l'apprentissage zéro-shot et few-shot, où les modèles peuvent généraliser à des formats de documents inédits sans réglage fin extensif. Alors que l'ia-générative continue de progresser, DocVQA reste une référence critique pour garantir que les systèmes d'IA peuvent lire et raisonner de manière fiable sur la vaste quantité d'informations stockées dans les documents du monde entier.