Visual Question Answering (VQA) é uma área de pesquisa em inteligência artificial e aprendizado de máquina que combina visão computacional e processamento de linguagem natural. A tarefa envolve fornecer uma imagem e uma pergunta livre e aberta sobre essa imagem, e o sistema deve gerar uma resposta correta em linguagem natural. O VQA é considerado um problema desafiador porque exige não apenas reconhecimento de objetos e compreensão de cenas, mas também raciocínio, conhecimento de senso comum e a capacidade de fundamentar a linguagem em conteúdo visual. Ele serve como um padrão de referência central para avaliar as capacidades de sistemas de IA multimodal, particularmente aqueles construídos sobre arquiteturas de aprendizado profundo.
A tarefa de VQA foi formalizada com o lançamento do conjunto de dados VQA em 2015, por pesquisadores da Virginia-Tech, da Microsoft (AI) e de Toronto. O conjunto de dados original, VQA v1, continha mais de 200.000 imagens do conjunto de dados Microsoft COCO e de cenas abstratas, emparelhadas com mais de 760.000 perguntas e 10 milhões de respostas. Cada imagem tinha três perguntas, e cada pergunta tinha dez respostas de referência fornecidas por anotadores humanos. O conjunto de dados foi projetado para exigir uma gama de habilidades, desde contagem simples e reconhecimento de cores até raciocínio mais complexo sobre relações espaciais e atividades. Uma continuação, VQA v2, foi lançada em 2017 para abordar os vieses de linguagem, equilibrando as respostas para cada tipo de pergunta, garantindo que o modelo não pudesse depender apenas de abordagens prévias.
Arquiteturas e Abordagens
Os primeiros sistemas VQA usaram uma combinação de redes neurais convolucionais (CNNs) para a extração de características de imagem e redes neurais recorrentes (RNNs) ou redes de memória de longo prazo curto (LSTM) para a codificação de perguntas. Essas características eram então integradas, frequentemente por multiplicação elemento a elemento ou concatenação, e passadas por um classificador para prever uma resposta a partir de um vocabulário fixo. Um modelo inicial notável foi a "linha de base VQA" dos autores do conjunto de dados, que usava uma representação de perguntas como saco de palavras e um codificador de imagem VGGNet.
Com o advento da arquitetura Transformer (architecture), muitos modelos VQA migraram para mecanismos baseados em atenção. O mecanismo de atenção multicabeças permitiu que os modelos se concentrassem dinamicamente em regiões relevantes da imagem, de acordo com as palavras das perguntas. O framework de codificador-decodificador tornou-oste padrão, com a imagem e a pergunta sendo codificadas juntamente e a resposta sendo gerada de forma autoregressiva. Mais recentemente, modelos pré-treinados de larga escala, como aqueles baseados ecológicos em modelos de linguagem de grande escalal, foram ajustados para VQA, aproveitando o pré-treino multimodal em pares de imagem-texto. Esses modelos frequentemente usam camadas de atenção cruzada para alinhar tokens visuais e textuais.
Principais Conjuntos de Dados e Padrões de Referência
Além dos VQA v1 e v2 originais, diversos outros conjuntos de dados expandiram o escopo da tarefa. O conjunto de dados Visual Genome, lançado em 2016, forneceu anotações densas de objetos, atributos e relações, permitindo respostas a perguntas mais complexas sobre composição. O conjunto de dados GQA, introduzido em 2019, enfocau raciocínio e perguntas composicionais, com uma divisão equilibrada para reduzir vieses. O conjunto de dados CLEVR, de 26 de 2017, usou formas 3D sintéticas para testar raciocínio sistemático, exigindo inferência de múltiplos etapas. Para aplicações do mundo real, o conjunto de dados VizWiz, de 2018, coletou perguntas de usuários cegos, apresentando um contexto mais prático, porém ruidoso. O conjunto de dados OK-VQA, lançado em 2019, enfatizou perguntas que exigiam conhecimento externo além do conteúdo da imagem.
Métricas de Avaliação
Modelos VQA são geralmente avaliados usando acurácia, onde uma resposta prevista é considerada correta se corresponder a pelo menos três das dez respostas de referência daotadas pelo ser humano. Essa métrica, conhecida como acurácia VQA, é projetada para lidar com a subjetividade das respostas abertas. Para variantes de múltipla escolha, é usada a acurácia padrão. Padrões de referência mais recentes também reportam óbulo de consistente e ancoragem, como se a atenção do modelo alinha com nas regiões relevantes da imagem. A tabela de classificação do VQA v2 foi uma referência padrão, embora muitos modelos modernos relatem resultados em uma gama de conjuntos de dados para demonstrar a generalização.
Desafios e Limitações
Um desafio primário em VQA é o viés de linguagem, onde modelosexploram regularidades estatísticas nos dados de treinamento em vez de entender concretamente a imagem. Por exemplo, um modelo pode responder "2" para qualquer pergunta de contagem sem olhar para os objetos. O conjunto de dados VQA v2 foi especificamente projetado para mitigar isso, garantindo que cada tipo de pergunta possua um conjunto equilibrado de respostas. Outro desafio é a generalização composicional, onde modelos falham em perguntas que combinam conceitos de maneiras não vistas anteriormente. Conhecimento externo também é difícil de ser integrado, pois muitas perguntas exigem senso comum ou informações factuais não presentes na imagem. Finalmente, a robustez a perturbações adversas e variância de distribuição continua sendo um problema em abeto, pois os modelos estão frequentemente enganados por pequenas mudanças na imagem ou na pergunta.
Copas e Direções Futuros
O VQA tem aplicações práticas de tecnologia assistiva, como ajudar usuários com deficiência visual a entender seu entorno relacionado, como visto no projeto VizW. Também é usado em interação humano-anóvel, em imagens clínicas (por exemplo, respondendo a perguntas sobre radiografias) e na recuperação de imagens baseada em conteúdo.Direções futuras incluem melhorar as capacidades de raciocínio por meio de arquiteturas de redes neurais que incorporam componentes simbólicos, integrar modelos de IA generativa para respostas mais detalhadas e abertas, e desenvolver melhores métricas de avaliação que capturam a equivalência semântica. Até meados da década de 2020, os modelos de estado da arte frequentemente aproveitam o pré-treinamento em larga escala em dados da web, mas ainda têm dificuldades com o raciocínio espacial fino e o reconhecimento de objetos raros.