VQA 3.0 é a terceira grande iteração de um sistema de resposta a perguntas visuais (VQA), uma classe de modelos de inteligência artificial que aceitam uma imagem e uma pergunta em linguagem natural como entrada e produzem uma resposta textual. Lançado em 2023, o VQA 3.0 baseia-se em seus predecessores ao integrar um modelo de linguagem de grande porte com um codificador de visão, permitindo lidar com perguntas abertas que exigem raciocínio, senso comum e compreensão detalhada da cena, em vez de depender de um conjunto fixo de respostas possíveis. O sistema é projetado para ser usado em aplicações que vão desde tecnologia assistiva para usuários com deficiência visual até análise automatizada de imagens em áreas como medicina e robótica.
O desenvolvimento do VQA 3.0 foi liderado por uma equipe de pesquisa no Google DeepMind, com contribuições de colaboradores da Universidade de Toronto e do Laboratório de IA de Stanford. O projeto foi anunciado em um relatório técnico no início de 2023, e a arquitetura do modelo e a metodologia de treinamento foram detalhadas em um artigo apresentado em uma importante conferência de visão computacional no final daquele ano. O sistema é construído sobre uma arquitetura transformador, usando um mecanismo de atenção de múltiplas cabeças para alinhar características visuais com tokens textuais, e emprega uma estrutura sequência a sequência na qual a imagem de entrada é codificada e a pergunta é decodificada em uma resposta.
Arquitetura e Treinamento
O VQA 3.0 usa um design de codificador duplo. O codificador de visão, uma variante de rede residual com 21 camadas, processa a imagem de entrada em uma grade de vetores de características. Essas características são então projetadas no espaço de incorporação do modelo de linguagem, que é um transformador decoder-only de 12 camadas com 7 bilhões de parâmetros. O modelo é treinado em duas etapas: primeiro, uma fase de pré-treinamento em um grande corpus de pares imagem-texto da web e, segundo, uma fase de ajuste fino em conjuntos de dados VQA selecionados, como VQA v2 e Visual Genome. Durante o ajuste fino, o modelo é otimizado usando uma função de perda de entropia cruzada com um agendamento de taxa de aprendizado cosseno e o otimizador Adam. O treinamento usou 256 chips TPU v4 por aproximadamente duas semanas, processando mais de 100 milhões de tripletos imagem-pergunta-resposta.
Capacidades e Benchmarks
O VQA 3.0 alcança resultados de última geração em vários benchmarks padrão. Na divisão test-dev do VQA v2, atinge uma precisão de 78,4%, superando o melhor modelo anterior em 3,2 pontos percentuais. No conjunto de dados GQA, que testa raciocínio composicional, pontua 63,1%, e no benchmark VizWiz, projetado para perguntas de usuários cegos, atinge 71,8%. O modelo é particularmente forte em contar objetos, raciocínio espacial e responder perguntas que exigem conhecimento externo, como "Que tipo de animal é este?" quando a imagem mostra uma espécie rara. Em um estudo de avaliação humana, 87% das respostas geradas pelo VQA 3.0 foram classificadas como precisas e fluentes pelos anotadores, em comparação com 79% da versão anterior.
Limitações e Considerações Éticas
Apesar de seu desempenho, o VQA 3.0 tem limitações conhecidas. Ele pode ser sensível a perturbações adversariais, como pequenas mudanças na iluminação ou na orientação do objeto, e às vezes produz respostas plausíveis, mas incorretas, quando a pergunta é ambígua. O modelo também herda vieses de seus dados de treinamento, mostrando menor precisão em imagens de pessoas de grupos demográficos sub-representados. Os desenvolvedores publicaram um model card que documenta esses problemas e recomendam que as implantações incluam supervisão humana para aplicações de alto risco. Em resposta, a equipe lançou um kit de ferramentas de avaliação de viés e se comprometeu a realizar auditorias regulares do desempenho do modelo em diferentes segmentos populacionais.
Implantação e Impacto
O VQA 3.0 está disponível através da plataforma Google Cloud Vertex AI como uma API gerenciada, permitindo que desenvolvedores integrem respostas a perguntas visuais em suas aplicações com uma simples chamada REST. Ele foi adotado por várias organizações, incluindo a Samsung Electronics para recursos de acessibilidade em seus smartphones e a Intuitive Surgical para auxiliar cirurgiões na interpretação de imagens intraoperatórias. O modelo também tem sido usado em ambientes de pesquisa, como o Bhabha Atomic Research para análise de imagens de satélite. O lançamento do VQA 3.0 estimulou mais pesquisas em modelos multimodais, e sua arquitetura influenciou sistemas subsequentes como o VQA 4.0, que incorpora um codificador de visão maior e um modelo de linguagem com mistura de especialistas.
Direções Futuras
A equipe do VQA 3.0 delineou várias áreas para trabalho futuro. Uma direção é melhorar a capacidade do modelo de lidar com vídeos, estendendo a estrutura atual de imagem única para sequências temporais. Outra é aprimorar a interpretabilidade, usando mapas de atenção para mostrar quais partes da imagem o modelo foca ao gerar uma resposta. A equipe também está explorando maneiras de reduzir a pegada de carbono do modelo usando técnicas de treinamento mais eficientes, como poda de modelo e aumento de dados. Em 2024, um modelo sucessor, o VQA 3.5, está em desenvolvimento, com foco em aprendizado de poucos exemplos e melhor tratamento de conhecimento externo.