TextCaps é um conjunto de dados e benchmark em larga escala para legendagem de imagens que se concentra especificamente na geração de legendas que incorporam o texto presente nas imagens. Diferentemente das tarefas tradicionais de legendagem de imagens, que descrevem objetos e cenas, o TextCaps exige que os modelos leiam e raciocinem sobre o texto presente na imagem, como placas de rua, rótulos de produtos ou capas de livros, e integrem essa informação em uma descrição coerente em linguagem natural. O conjunto de dados foi introduzido em 2020 por pesquisadores do Google e da Universidade da Califórnia, em Berkeley, e se tornou uma avaliação padrão para modelos de visão e linguagem que visam preencher a lacuna entre a percepção visual e o reconhecimento óptico de caracteres (OCR).
O desafio central do TextCaps é que ele combina duas capacidades distintas: compreensão visual e reconhecimento de texto. Um modelo deve não apenas identificar objetos e suas relações, mas também transcrever com precisão o texto na imagem e decidir quais partes desse texto são relevantes para a descrição geral da cena. Por exemplo, uma imagem de uma cafeteria pode exigir que a legenda mencione o nome na fachada, o tipo de bebida no quadro de menu ou o texto em um pôster ao fundo. Isso requer uma integração profunda de técnicas de visão computacional com processamento de linguagem natural e sistemas de reconhecimento óptico de caracteres (OCR).
Composição e Anotações do Conjunto de Dados
O conjunto de dados TextCaps contém 28.000 imagens, cada uma emparelhada com múltiplas legendas escritas por humanos, totalizando mais de 145.000 legendas. As imagens são provenientes do domínio de texto em imagens, que inclui uma ampla variedade de cenas do mundo real, como vistas de ruas, ambientes internos e fotos de produtos. Cada imagem tem, em média, cinco legendas, e as legendas são projetadas para serem descritivas e naturais, frequentemente incluindo strings de texto específicas que aparecem na imagem. O conjunto de dados é dividido em conjuntos de treinamento, validação e teste, sendo o conjunto de teste usado para a avaliação oficial do benchmark. As anotações foram coletadas por meio de uma plataforma de crowdsourcing, com instruções cuidadosas para garantir que as legendas mencionem o texto apenas quando ele for relevante para a cena.
O conjunto de dados também fornece anotações de OCR para cada imagem, incluindo caixas delimitadoras e texto transcrito, que são usadas como entrada para muitos modelos. Isso permite que os pesquisadores se concentrem nos aspectos de raciocínio e geração, em vez da detecção bruta de OCR, embora alguns modelos também incorporem aprendizado de OCR de ponta a ponta.
Métricas de Avaliação e Desafios
A principal métrica de avaliação para o TextCaps é o CIDEr, que mede a similaridade entre as legendas geradas e as referências humanas, com foco em consenso e informatividade. Outras métricas, como BLEU, METEOR e ROUGE, também são relatadas, mas o CIDEr é o principal critério de classificação. A tarefa é particularmente desafiadora porque as legendas devem ser tanto gramaticalmente corretas quanto factualmente precisas em relação ao texto na imagem. Um modelo que identifica corretamente os objetos, mas lê incorretamente uma placa, receberá uma pontuação baixa.
Os primeiros baselines que usavam modelos padrão de legendagem de imagens, como aqueles baseados em arquiteturas codificador-decodificador com características de rede residual, tiveram desempenho ruim no TextCaps, alcançando pontuações CIDEr abaixo de 50. Isso destacou a necessidade de arquiteturas especializadas que pudessem incorporar tokens de OCR no processo de geração. Trabalhos subsequentes introduziram métodos que usam um decodificador baseado em transformador com atenção cruzada para características de OCR, levando a melhorias significativas.
Arquiteturas de Modelo e Abordagens
A maioria das abordagens bem-sucedidas para o TextCaps usa um pipeline de dois estágios: primeiro, um sistema de OCR extrai o texto da imagem e, segundo, um modelo de legendagem gera a descrição usando tanto características visuais quanto tokens de OCR. O modelo de legendagem é frequentemente um transformador que recebe uma sequência de características de regiões da imagem e embeddings de tokens de OCR como entrada e gera uma legenda token por token. Por exemplo, o modelo M4C (Multimodal Multi-Copy Mesh), introduzido por Hu et al., usa um transformador com um mecanismo de cópia que pode copiar diretamente o texto dos tokens de OCR, o que é crucial para reproduzir com precisão strings como nomes de marcas ou endereços.
Outra linha de trabalho integra o OCR diretamente no codificador visual, usando uma rede neural que processa simultaneamente pixels e embeddings de texto. Esses modelos frequentemente aproveitam grandes modelos de linguagem pré-treinados para a parte de geração de texto, ajustando-os no conjunto de treinamento do TextCaps. O uso de atenção cruzada entre as modalidades visual e textual é um padrão de design comum, permitindo que o modelo alinhe os tokens de OCR com as regiões da imagem.
Impacto e Benchmarks Relacionados
O TextCaps estimulou o desenvolvimento de benchmarks mais abrangentes que combinam texto e visão, como OCR-VQA e ST-VQA, que se concentram em resposta a perguntas visuais com texto. Ele também influenciou o design de grandes modelos de linguagem multimodais, como os desenvolvidos por OpenAI e Google DeepMind, que agora são capazes de ler texto em imagens e gerar respostas descritivas. O conjunto de dados continua sendo um testbed padrão para avaliar as habilidades de raciocínio ciente de OCR de sistemas de IA, e é frequentemente usado em conjunto com outros conjuntos de dados, como text-vqa e COCO-Text.
Em 2025, os modelos de última geração no TextCaps alcançam pontuações CIDEr acima de 140, uma melhoria significativa em relação aos baselines iniciais, mas a tarefa ainda é considerada em aberto, com espaço para melhorias no tratamento de estilos de texto raros, layouts complexos e relevância ambígua do texto. O benchmark continua sendo um recurso valioso para avançar a pesquisa em IA generativa e compreensão multimodal.
Direções Futuras
O futuro da pesquisa em TextCaps está no desenvolvimento de modelos que possam não apenas ler texto, mas também raciocinar sobre seu significado semântico no contexto, como entender que uma placa de "Venda" implica um desconto ou que uma placa de "Proibida a Entrada" indica uma restrição. Isso requer uma integração mais profunda de conhecimento de mundo e senso comum, que é uma área ativa de estudo em inteligência artificial. Além disso, há interesse em estender o TextCaps para vídeo, onde o texto aparece dinamicamente, e para contextos multilíngues, onde OCR e legendagem devem lidar com múltiplos scripts. O design do conjunto de dados também inspirou esforços semelhantes em outros domínios, como imagens médicas e direção autônoma, onde a leitura de texto no ambiente é crítica.
Ver Também
- legendagem-de-imagens
- reconhecimento-óptico-de-caracteres
- modelo-de-visão-e-linguagem
- aprendizado-multimodal
Referências
- Hu, R., Singh, A., Darrell, T., & Rohrbach, M. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. In European Conference on Computer Vision (ECCV).
- Sidorov, O., Hu, R., Rohrbach, M., & Singh, A. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. arXiv preprint arXiv:2003.12462.