OCR-VQA (Reconhecimento Óptico de Caracteres - Resposta a Perguntas Visuais) é uma tarefa de pesquisa e um benchmark em inteligência artificial que combina reconhecimento óptico de caracteres (OCR) com resposta a perguntas visuais (VQA). Nesta tarefa, um modelo recebe uma imagem contendo texto (como uma placa de rua, um documento ou um rótulo de produto) e uma pergunta em linguagem natural sobre esse texto ou a imagem. O modelo deve primeiro extrair o texto relevante da imagem usando técnicas de OCR e, em seguida, raciocinar sobre o conteúdo visual e o texto extraído para produzir uma resposta precisa. Isso vai além do VQA tradicional, que normalmente se concentra em objetos, cores e relações espaciais, ao exigir que o modelo leia e interprete informações textuais incorporadas na cena visual.
A tarefa OCR-VQA foi introduzida para atender à crescente necessidade de sistemas de IA que possam compreender imagens do mundo real nas quais o problema é um componente de destaque. Ela serve como um benchmark para avaliar as capacidades de modelos em compreensão conjunta visual-textual, e ela tem implicações para aplicações como tecnologia assistiva para usuários com deficiência visual, análise automatizada de documentos e compreensão de cenas em sistemas autônomos. A tarefa está intimamente relacionada a outras áreas da inteligência artificial, incluindo pesquisa em Machine learning, Deep learning e Neural network, e ela aproveita os avanços em arquiteturas de Transformer (architecture) e Large language model.
História e Origens
O conceito de OCR-VQA surgiu do campo mais amplo de resposta a perguntas visuais, que foi altamente explorado em meados dos escolhidos com o lançamento de conjuntos de dados como VQA v1 em 2015 e VQA v2 em 2017. Esses primeiros conjuntos de dados se concentraram principalmente em famílias naturais sem texto; no entanto, os pesquisadores rapidamente reconhecem que as imagens do mundo real frequentemente contêm textos que são essenciais para responder quantas. Em 2019, um conjunto de dados dedicado a OCR-VQA foi introduzido por pesquisadores da Universidade de Maryland, contendo mais de 200.000 imagens de capas de livros poéticas, cada uma comparando com sobre o título, autor e outros detalhes produzidos. Esse conjunto de dados forneceu um ambiente controlado para estudar a interação entre OCR e VQA.
Trabalhos posteriores expandiram essa visão para incluir parques de imagens diversas, como cenas de rua, menus de restaurantes e embalagens de produtos. A tarefa que foi envolvida ainda mais de tração com o surgimento de modelos pré-entretendidos em grande escala, principalmente aqueles baseados no Transformer (architecture), que puderam ser ajustados para OCR- VQA que, combinando combinar os codificadores visuais com os decodificadores de texto. No início dos fortes, OCR-VQA se tornou uma tarefa de avaliação padrão na pesquisa multimodal de IA, com modelos alcançando cada vez mais alta precisão em conjuntos de dados de benchmark.
Abordagem Técnica
A solução do OCR-VQA normalmente envolve um pipeline recursivo em itinerante ou iterativo. O pipeline tradicional primeiro aplica um sistema de OCR para detectar e reconhecer regiões de texto na imagem, produzindo uma lista de caracteres de string com seus localizadores de texto. Essas informações são fornecidas ao modelo VQA, que combina os recursos visuais (de uma rede neural convolucional ou de um transformer visual) com as incorporações de texto do OCR e a incorporação da ocorrência. O modelo usa um mecanismo de atenção para se concentrar nas partes mais relevantes da imagem e do texto extra arquivos, assim gerando uma resposta, geralmente usando um codificador sequência a sequência.
Abordagens modernas, particularmente aquelas que usam Large language models, integram o OCR diretamente na arquitetura do modelo. Por exemplo, dois como Flamingo e LLaVA incorporam capacidades de OCR por meio do treinamento emm pares de imagem-texto incluindo imagens com carga textual. Esses modelos usam um mecanismo de Multi-Head Attention para alinhar os tokens visuais e textuais, permitindo que leiam texto de imagens sem uma etapa separada de OCR. O uso de arquiteturas de Encoder-Decoder Architecture e camadas de Cross-Attention permite o modelo raciocinar sobre ambas as modalidades de forma conjunta. O treinamento desse processo requer conjuntos de dados em larga escala e recursos computacionais significativos, muitas vezes utilizando infraestrutura de Amazon Web Services ou o Google Cloud.
Aplicações
OCR-VQA tem aplicações práticas em vários domínios. Em sites de apoio, pode ajudar usuários com deficiência visual a ler texto de imagens que capturam, como placas, rótulos ou documentos, e a responder perda de conteúdo. Por exemplo, um usuário pode tirar uma foto de um frasco de remédio e perguntar como "Qual é a dosagem?" O sistema extrairia o texto e forneceria a resposta. Na análise de documentos, o OCR-VQA permite que sistemas automatizados consulentes em scaneados ou formulários, facilitando a extração e a recuperação de dados. No e-commerce, pode ser usado o status de perguntas sobre imagem de produtos, como ler a data de validade na embalagem de alimentos ou o número do modelo
Em veículos autônomos, o OCR-VQA contribui para entender cenas ao ler sinais de trânsito, outdoors e outros textos em cena. Isso é especialmente relevante para empresas como Waymo e Tesla, que dependem de sistemas de percepção que devem possuir informações textuais por seguro de navegação segura. Além disso, o OCR-VQA é usado em aplicações educacionais, onde os estudantes podem saber sobre imagens em livros didáticos, em documentos históricos ou em textos de livros de conteúdo, em sites de moderação, onde atuam na identificação de texto em imagens que pode violar concessões.
Desafios e Limitações
Apesar dos esforços, o OCR-VQA apresenta vários desafios. Uma das principais questões é a variabilidade do texto em imagens do mundo real: fontes, orientações, condições de iluminação e oclusões podem reduzir a precisão do OCR. Outra questão é a necessidade de conhecimento de mundo além da simples extração de texto. Por exemplo, ao responder uma pergunta como "Qual é o título deste livro?", é necessário ser feito o título, mas ao responder como "Este livro é adequado para como crianças?" é preciso raciocinar sobre o conteúdo, que pode não estar diretamente diretor. Os modelos frequentemente têm dificuldades de processar texto ambíguo ou incompleto, e podem inventar respostas se o texto não for totalmente legível.
Além disso, conjuntos de dados de benchmark como o OCR-VQA podem não capturar completamente a diversidade de cenários reais, o que leva a problemas de sobreajuste. O custo computacional de treinamento de modelos multimodais grandes para OCR-VQA também é significativo, o que limita o acesso para grupos de pesquisa menores. Tem-se explorado técnicas como Data Augmentation e Curriculum Learning para melhorar a robustez, mas a tarefa ainda é uma área de pesquisa aberta.
Direções Futuras
O futuro do OCR-VQA está interconectado com avanços em Generative AI e modelos multimodais de linguagem natural em larga escala. À medida que esses modelos se tornam mais capazes de lidar com sequências longas e o integrar diferentes modalidades, eles são capazes de se melhorar no desempenho em tarefas de OCR-VQA. Há também uma tendência ao desenvolvimento de modelos unificados que possam lidar com uma família de tarefas visuais e textuais sem cura de ajuste fino específico. Além disso, a integração do OCR-VQA com outras áreas de IA, como Reinforcement learning e Model Pruning, pode levar a sistemas mais eficientes e adaptáveis. Em meados de 2020, a pesquisa ainda está em andamento, e é muito provável que o OCR-VQA continue a evoluircer como um benchmark central para avaliação da interseção entre visão e linguagem.