VQA 2.0 é um conjunto de dados em larga escala para resposta a perguntas visuais (VQA, do inglês visual question answering), uma tarefa em inteligência artificial na qual um sistema deve responder a perguntas em linguagem natural sobre uma imagem. Lançado em 2017 por pesquisadores da Virginia Tech e da Microsoft Research, o VQA 2.0 foi projetado para corrigir uma falha crítica de seu predecessor, o conjunto de dados VQA: os modelos frequentemente conseguiam responder perguntas corretamente sem sequer olhar para a imagem, explorando regularidades estatísticas nas perguntas e respostas. O VQA 2.0 mitiga esse problema ao parear cada pergunta com duas imagens que têm respostas diferentes, forçando os modelos a compreender genuinamente o conteúdo visual para ter sucesso. O conjunto de dados tornou-se um padrão de referência para avaliar modelos de visão e linguagem, incluindo aqueles baseados em transformadores e grandes modelos de linguagem.
O conjunto de dados VQA original, introduzido em 2015, continha mais de 200.000 imagens do conjunto de dados Microsoft COCO e mais de 600.000 perguntas, cada uma com múltiplas respostas de referência. No entanto, ele sofria de um forte viés de linguagem: por exemplo, a pergunta "Qual é a cor da banana?" quase sempre tinha a resposta "amarelo" no conjunto de treinamento, então um modelo poderia adivinhar corretamente sem processar a imagem. O VQA 2.0, lançado em 2017, dobrou o número de perguntas para mais de 1,1 milhão, adicionando perguntas complementares que têm respostas diferentes para imagens diferentes. Especificamente, para cada pergunta no conjunto de dados original, os criadores adicionaram uma segunda imagem de modo que a resposta à mesma pergunta difere entre as duas imagens. Esse design balanceado reduz a eficácia de atalhos baseados apenas em linguagem e incentiva o desenvolvimento de modelos que integram informações visuais e textuais.
Composição e Estrutura do Conjunto de Dados
O VQA 2.0 consiste em imagens do conjunto de dados Microsoft COCO, que contém cenas complexas com múltiplos objetos e interações. As perguntas são abertas e cobrem uma variedade de categorias, incluindo presença de objetos, cor, contagem e relações espaciais. Cada pergunta é acompanhada por 10 respostas de referência coletadas de anotadores humanos, permitindo a avaliação usando uma métrica de precisão baseada em consenso. O conjunto de dados é dividido em conjuntos de treinamento, validação e teste, com o conjunto de teste ainda dividido em test-dev e test-standard para fins de benchmarking. O servidor de avaliação oficial permite que pesquisadores comparem seus modelos nos conjuntos de teste ocultos, garantindo uma comparação justa.
O design balanceado do VQA 2.0 tornou-o um benchmark mais desafiador. Por exemplo, um modelo que depende de prioridades de linguagem pode responder "amarelo" para qualquer pergunta sobre banana, mas o VQA 2.0 inclui imagens em que a banana é verde ou marrom, exigindo que o modelo realmente olhe para a imagem. Isso levou a um progresso significativo no raciocínio visual, pois os modelos devem aprender a fundamentar a linguagem em evidências visuais.
Impacto na Pesquisa em Resposta a Perguntas Visuais
O VQA 2.0 tornou-se um dos benchmarks mais amplamente utilizados no campo da resposta a perguntas visuais. Ele tem sido usado para avaliar uma ampla gama de modelos, desde arquiteturas iniciais de redes neurais até modelos modernos de visão e linguagem baseados em transformadores. O conjunto de dados também gerou vários desafios subsequentes, como o Desafio de Resposta a Perguntas Visuais, realizado anualmente em conferências de visão computacional. Muitos modelos de última geração, incluindo aqueles baseados em arquiteturas de transformadores e grandes modelos de linguagem, relatam desempenho no VQA 2.0 como uma métrica-chave.
Um impacto notável do VQA 2.0 é seu papel em destacar a importância de reduzir o viés em conjuntos de dados de IA. O design balanceado inspirou abordagens semelhantes em outros domínios, como implicação visual e raciocínio visual. Pesquisadores também usaram o VQA 2.0 para estudar a interpretabilidade de modelos, analisando quais partes de uma imagem um modelo atende ao responder a uma pergunta.
Limitações e Críticas
Apesar de suas melhorias, o VQA 2.0 não está isento de limitações. Alguns críticos argumentam que o conjunto de dados ainda contém vieses, como uma tendência de as perguntas se concentrarem em objetos e atributos comuns. Além disso, o espaço de respostas abertas torna a avaliação desafiadora, pois os modelos devem gerar respostas de forma livre que são comparadas a um conjunto de respostas humanas. A métrica de precisão, que trata todas as respostas igualmente, pode não capturar totalmente a qualidade do raciocínio. Além disso, o VQA 2.0 testa principalmente reconhecimento e raciocínio simples, e pode não medir adequadamente habilidades cognitivas de nível superior, como senso comum ou raciocínio abstrato.
Outra crítica é que o VQA 2.0, como muitos benchmarks, pode ser "explorado" por modelos que aproveitam padrões estatísticos nos dados, mesmo com o design balanceado. Por exemplo, um modelo pode aprender a responder "sim" para perguntas que começam com "Existe" a menos que tenha fortes evidências em contrário. Para abordar essas questões, pesquisadores propuseram benchmarks mais desafiadores, como o VQA-CP (VQA sob Prioridades Variáveis), que redivide os dados para reduzir ainda mais o viés de linguagem.
Relação com Modelos Modernos de Visão e Linguagem
Com o surgimento de modelos de visão e linguagem em larga escala, como os desenvolvidos por OpenAI, Google DeepMind e Anthropic, o VQA 2.0 tornou-se uma ferramenta de avaliação padrão. Esses modelos, frequentemente baseados em arquiteturas de transformadores e pré-treinados em pares massivos de imagem-texto, alcançam alta precisão no VQA 2.0, às vezes superando o desempenho humano em certos tipos de perguntas. No entanto, o benchmark continua útil para diagnosticar fraquezas, como lidar com objetos raros ou raciocínio espacial complexo. Em 2025, o VQA 2.0 continua sendo citado em artigos sobre IA generativa e aprendizado multimodal, servindo como uma ponte entre visão computacional e processamento de linguagem natural.
O conjunto de dados também foi integrado a suítes de avaliação mais amplas, como o OpenPanel e outras iniciativas de benchmarking de IA, que visam avaliar as capacidades de sistemas de IA em múltiplas tarefas. O design balanceado do VQA 2.0 influenciou a criação de conjuntos de dados mais recentes, como GQA e CLEVR, que se concentram em raciocínio composicional.
Conclusão
O VQA 2.0 representa um passo significativo na avaliação de sistemas de resposta a perguntas visuais. Ao abordar o viés de linguagem inerente a conjuntos de dados anteriores, ele impulsionou o campo em direção a modelos mais robustos e fundamentados visualmente. Seu impacto se estende além da tarefa específica, influenciando o design de conjuntos de dados e práticas de avaliação na pesquisa em IA. À medida que os modelos de visão e linguagem continuam a evoluir, o VQA 2.0 permanece um benchmark relevante e desafiador, garantindo que o progresso em IA seja medido não apenas pelo reconhecimento de padrões, mas pela compreensão genuína do mundo visual.