TextVQA é uma tarefa de pesquisa e um benchmark no campo da inteligência artificial que combina visão computacional e processamento de linguagem natural. Ela se concentra em responder perguntas sobre imagens em que a resposta correta depende da leitura e compreensão do texto que aparece dentro da própria imagem. Isso inclui texto em placas de rua, etiquetas de produtos, cardápios de restaurantes, notas manuscritas e outros objetos do mundo real. Diferentemente da resposta a perguntas visuais (VQA) padrão, que muitas vezes depende do reconhecimento de objetos e cenas, a TextVQA testa especificamente a capacidade de um modelo de realizar reconhecimento óptico de caracteres (OCR) e integrar as informações textuais extraídas com o contexto visual e a semântica da pergunta.
A tarefa foi introduzida para abordar uma lacuna em conjuntos de dados de VQA anteriores, que normalmente continham imagens com pouco ou nenhum texto significativo. A TextVQA exige que um sistema não apenas detecte e reconheça texto, mas também raciocine sobre sua relevância para a pergunta, muitas vezes envolvendo raciocínio espacial (por exemplo, "O que está escrito acima da porta?") ou inferência de senso comum (por exemplo, "Que tipo de loja é esta?" com base em uma placa). O benchmark impulsionou pesquisas significativas em aprendizado multimodal, particularmente no desenvolvimento de arquiteturas que possam processar conjuntamente características visuais, tokens de OCR e representações de linguagem.
Conjunto de Dados e Benchmark
O conjunto de dados TextVQA foi lançado em 2019 por pesquisadores do Instituto de Tecnologia da Geórgia e da Facebook AI Research (agora parte da Meta AI). Ele consiste em 28.408 perguntas sobre 4.972 imagens, com imagens provenientes do conjunto de dados Open Images. Cada imagem contém pelo menos uma palavra de texto, e as perguntas são projetadas para exigir a leitura desse texto para serem respondidas corretamente. O conjunto de dados é dividido em conjuntos de treinamento (34.602 perguntas), validação (5.000 perguntas) e teste, com o conjunto de teste usado para avaliação oficial por meio de um servidor online.
As perguntas são abertas e exigem respostas curtas, normalmente de uma a três palavras. O conjunto de dados inclui anotações de OCR de ground-truth para cada imagem, fornecendo caixas delimitadoras de palavras e texto reconhecido. Isso permite que os modelos sejam treinados com supervisão explícita de OCR ou usem características de OCR pré-extraídas. A métrica de avaliação é a precisão padrão de VQA, em que uma resposta prevista é considerada correta se corresponder a uma das dez respostas de ground-truth fornecidas por humanos.
Arquiteturas de Modelos
As primeiras abordagens para TextVQA usavam pipelines modulares que combinavam um sistema de OCR pré-treinado (como Rosetta ou Tesseract) com uma rede neural para raciocínio. Uma arquitetura comum era o modelo Look, Read, Reason, Answer (LoRRA), que usava uma rede residual para características de imagem, um LSTM bidirecional para codificação de perguntas e uma camada de fusão multimodal para combinar características visuais, textuais e de OCR. O LoRRA também incorporava um mecanismo de cópia que permitia ao modelo gerar palavras diretamente dos tokens de OCR, o que se mostrou eficaz para responder perguntas que exigem texto literal.
Modelos subsequentes aproveitaram arquiteturas baseadas em transformers, como o M4C (Multimodal Multi-Copy Mesh), que introduziu um processo iterativo de decodificação de respostas e um mecanismo de múltiplas cópias para lidar com múltiplos tokens de OCR. Mais tarde, modelos unificados de visão-linguagem baseados em grandes modelos de linguagem (por exemplo, LLaVA, Flamingo) foram adaptados para TextVQA por meio de ajuste fino no conjunto de dados, alcançando maior precisão ao aproveitar o pré-treinamento em larga escala em pares de imagem-texto.
Desafios e Avaliação
A TextVQA apresenta vários desafios únicos. Primeiro, o OCR em cenas naturais é difícil devido a fontes variadas, iluminação, oclusão e distorção de perspectiva. Segundo, o modelo deve determinar qual texto é relevante para a pergunta, pois as imagens frequentemente contêm múltiplas instâncias de texto. Terceiro, o raciocínio pode exigir a combinação de texto com pistas visuais, como identificar a cor de uma placa ou a posição de um rótulo. Quarto, algumas perguntas exigem raciocínio aritmético ou temporal baseado em texto (por exemplo, "A que horas a loja fecha?" a partir de uma placa).
A avaliação é realizada no conjunto de teste, com modelos classificados por precisão. Em 2024, os modelos de última geração alcançam cerca de 80% de precisão, acima dos aproximadamente 40% das primeiras linhas de base. O benchmark também foi estendido a tarefas relacionadas, como OCR-VQA e ST-VQA, que se concentram na compreensão de texto em cenas em diferentes contextos.
Impacto e Aplicações
A TextVQA influenciou o desenvolvimento de sistemas de IA multimodal, particularmente no contexto de compreensão de documentos e tecnologias assistivas. As aplicações incluem ajudar usuários com deficiência visual a ler placas ou etiquetas, processamento automatizado de formulários e aprimoramento de mecanismos de busca que indexam imagens com texto. A tarefa também estimulou pesquisas sobre mecanismos de atenção cruzada e codificação posicional para ancoragem espacial de texto.
O benchmark é amplamente utilizado em pesquisa acadêmica e na indústria, com Google DeepMind, OpenAI e outros laboratórios usando-o como um ambiente de teste para avaliar modelos de visão-linguagem. Ele também foi integrado a benchmarks mais amplos, como o conjunto de raciocínio de inteligência artificial, contribuindo para a compreensão de como os modelos lidam com raciocínio multimodal com pistas textuais.
Tarefas e Conjuntos de Dados Relacionados
A TextVQA faz parte de uma família de tarefas de compreensão de texto em cenas. Conjuntos de dados relacionados incluem ST-VQA (Scene Text Visual Question Answering), que se concentra no raciocínio baseado em texto com uma distribuição de imagens diferente, e OCR-VQA, que usa imagens de capas de livros e faz perguntas sobre títulos e autores. Esses benchmarks coletivamente ampliam os limites do aprendizado de máquina na combinação de OCR com raciocínio de alto nível.
Direções Futuras
Trabalhos futuros sobre TextVQA podem envolver um tratamento mais robusto de texto multilíngue, melhor integração com modelos de IA generativa que podem produzir respostas mais longas e melhor generalização para domínios não vistos. Os pesquisadores também estão explorando como tornar os modelos mais interpretáveis, explicando suas etapas de raciocínio, e como reduzir a dependência de grandes conjuntos de dados anotados por meio de aprendizado autossupervisionado em imagens não rotuladas com texto.