GQA (Graph Question Answering) é um conjunto de dados de referência para resposta a perguntas visuais (VQA) que enfatiza o raciocínio composicional. Foi introduzido em 2019 por pesquisadores da Universidade de Stanford e da Universidade de Toronto para abordar limitações em conjuntos de dados VQA anteriores, que frequentemente continham vieses que permitiam que modelos respondessem corretamente sem realmente compreender a imagem. O GQA fornece uma coleção em larga escala de imagens do mundo real emparelhadas com perguntas que exigem inferência lógica de múltiplas etapas, raciocínio espacial e reconhecimento de atributos, tornando-o um teste rigoroso para sistemas de IA.
O conjunto de dados é construído sobre o conjunto de dados Visual Genome, aproveitando seus grafos de cena detalhados. Esses grafos representam objetos, atributos e relações dentro de uma imagem, permitindo a geração automática de perguntas que são tanto diversas quanto semanticamente controladas. O GQA inclui mais de 22 milhões de perguntas sobre mais de 113.000 imagens, com cada pergunta acompanhada por um programa funcional que especifica as etapas de raciocínio necessárias para chegar à resposta. Esse design permite uma avaliação granular da capacidade de um modelo de realizar tipos específicos de raciocínio, como comparar atributos, contar objetos ou compreender relações espaciais.
Estrutura Composicional
A inovação central do GQA reside em sua geração composicional de perguntas. Em vez de depender de anotadores humanos para escrever perguntas, o conjunto de dados usa uma abordagem baseada em gramática que combina elementos de grafos de cena em consultas complexas. Por exemplo, uma pergunta como "O gato está à esquerda do cachorro que é marrom?" exige que o modelo primeiro identifique o cachorro marrom e depois determine sua relação espacial com o gato. Essa natureza composicional garante que as perguntas não sejam apenas correspondências de padrões simples, mas exijam compreensão genuína do conteúdo da imagem.
Cada pergunta no GQA está associada a um programa semântico, que é uma sequência de operações como "filtrar", "relacionar", "contar" ou "comparar". Esses programas servem como verdade fundamental para o processo de raciocínio, permitindo que pesquisadores analisem onde os modelos falham. O conjunto de dados também inclui uma divisão balanceada que reduz vieses de resposta, garantindo que cada tipo de resposta apareça com frequência semelhante entre as perguntas, o que força os modelos a depender de evidências visuais em vez de atalhos estatísticos.
Avaliação e Métricas
O GQA é avaliado principalmente usando precisão, mas seu design permite métricas mais granulares. Pesquisadores podem avaliar o desempenho em tipos específicos de perguntas, como "verificar" (sim/não), "escolher" (múltipla escolha), "consultar" (atributo ou relação) e "lógico" (envolvendo conjunções, disjunções ou negações). Essa decomposição ajuda a identificar pontos fortes e fracos no raciocínio do modelo. Por exemplo, um modelo pode se destacar em consultas simples de atributos, mas ter dificuldade com raciocínio espacial de múltiplos saltos.
O conjunto de dados também fornece uma métrica de "consistência", que mede se um modelo dá a mesma resposta para perguntas semanticamente equivalentes. Isso é importante porque um modelo que adivinha corretamente em uma formulação, mas incorretamente em outra, pode não compreender verdadeiramente o conceito subjacente. O design balanceado do GQA e as anotações de programa o tornam um padrão de referência na comunidade de Machine learning, frequentemente usado junto com outros conjuntos de dados VQA, como VQA v2 e CLEVR.
Impacto na Pesquisa em IA
O GQA influenciou o desenvolvimento de arquiteturas de Neural network para raciocínio visual. Muitos modelos, incluindo aqueles baseados em estruturas de Transformer (architecture) e Large language model, foram avaliados no GQA para testar sua capacidade de integrar informações visuais e textuais. O conjunto de dados destacou as limitações de métodos puramente baseados em atenção, que podem capturar correlações, mas falham em raciocínio sistemático. Isso motivou pesquisas em redes modulares, redes neurais de grafos e abordagens neuro-simbólicas que modelam explicitamente a estrutura composicional das perguntas.
No contexto de Deep learning e Artificial intelligence, o GQA serve como um padrão de referência desafiador que empurra os limites da compreensão visual. Tem sido usado em numerosos artigos acadêmicos e competições, contribuindo para uma melhor compreensão de como construir sistemas de IA que possam raciocinar sobre o mundo visual. O conjunto de dados permanece relevante em meados da década de 2020, com esforços contínuos para melhorar o desempenho dos modelos e estender seus princípios para domínios de vídeo e 3D.
Limitações e Críticas
Apesar de seus pontos fortes, o GQA tem limitações. As perguntas são geradas a partir de grafos de cena, que podem não capturar toda a complexidade da linguagem natural ou da ambiguidade do mundo real. Alguns críticos argumentam que o conjunto de dados ainda contém vieses, como uma super-representação de certas categorias de objetos ou relações espaciais. Além disso, a dependência de imagens do Visual Genome, que são tendenciosas para cenas do cotidiano, pode não generalizar para domínios especializados, como imagens médicas ou direção autônoma.
Outra preocupação é que os programas funcionais, embora úteis para análise, nem sempre estão disponíveis no momento da inferência em aplicações do mundo real. Modelos treinados no GQA podem se ajustar demais às estruturas específicas de perguntas, potencialmente limitando sua generalização para tarefas VQA mais abertas. Pesquisadores propuseram extensões e variações para abordar esses problemas, mas o GQA permanece um padrão de referência fundamental para raciocínio composicional.
Direções Futuras
Os princípios por trás do GQA estão sendo estendidos de várias maneiras. Conjuntos de dados mais novos incorporam tipos de perguntas mais diversos, como raciocínio contrafactual ou inferência causal. Há também interesse em aplicar a avaliação no estilo GQA a modelos de Generative AI, que podem produzir respostas de forma livre em vez de selecionar de um conjunto fixo. À medida que sistemas de Large language model se tornam mais integrados com visão, padrões de referência como o GQA são cruciais para avaliar se esses modelos realmente compreendem cenas ou meramente imitam padrões de raciocínio. A evolução contínua dos padrões de referência VQA garante que o legado do GQA continue a moldar o campo da compreensão visual.
Referências
- Hudson, D. A., & Manning, C. D. (2019). GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
- Johnson, J., et al. (2017). CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning. CVPR.