NLVR2 (Natural Language Visual Reasoning, versão 2) é um conjunto de dados de referência no campo da inteligência artificial e do aprendizado de máquina, projetado para avaliar a capacidade de um modelo de realizar raciocínio visual. A tarefa exige que um sistema examine duas imagens e uma legenda em linguagem natural, e então determine se a legenda é verdadeira ou falsa em relação ao par de imagens. Diferentemente de seu predecessor, o NLVR, que usava cenas sintéticas geradas por computador, o NLVR2 utiliza fotografias do mundo real obtidas da internet, tornando a tarefa de raciocínio significativamente mais complexa e mais próxima de aplicações reais.
O conjunto de dados foi introduzido em 2019 por pesquisadores da Universidade de Stanford e da Universidade da Carolina do Norte em Chapel Hill, como sucessor do benchmark NLVR original, lançado em 2017. A principal motivação foi abordar as limitações dos dados sintéticos, que permitiam que modelos explorassem atalhos visuais de baixo nível em vez de se engajarem em raciocínio genuíno. O NLVR2 consiste em mais de 107.000 legendas escritas por humanos, cada uma emparelhada com duas imagens distintas. As legendas são diversas, cobrindo relações espaciais, contagem, comparações e operações lógicas, e frequentemente exigem compreensão de ambas as imagens simultaneamente.
Definição da Tarefa e Avaliação
No NLVR2, cada exemplo apresenta ao modelo um par de imagens (esquerda e direita) e uma legenda. O modelo deve produzir uma decisão binária: 'verdadeiro' se a legenda descrever com precisão o par, ou 'falso' caso contrário. Por exemplo, uma legenda pode afirmar 'A imagem à esquerda contém mais pessoas do que a imagem à direita', e o modelo deve verificar isso comparando as duas imagens. A métrica de avaliação é simplesmente a precisão de classificação no conjunto de teste reservado. Como as legendas são escritas por humanos e as imagens são fotografias naturais, a tarefa exige percepção visual robusta, compreensão de linguagem e raciocínio cross-modal.
O benchmark é dividido em conjuntos de treinamento, desenvolvimento e teste, com o conjunto de teste usado para classificações oficiais em leaderboard. Uma característica notável é que o conjunto de teste inclui exemplos 'difíceis' projetados para serem particularmente desafiadores, como legendas envolvendo negação ou preposições espaciais complexas. Isso garante que modelos não possam alcançar pontuações altas memorizando padrões ou usando pistas superficiais.
Relação com Outros Benchmarks
O NLVR2 faz parte de uma família mais ampla de benchmarks de raciocínio visual, incluindo VQA (Visual Question Answering) e CLEVR. No entanto, ele difere do VQA por exigir a comparação de duas imagens em vez de responder a perguntas abertas sobre uma única imagem. Em comparação com o CLEVR, que usa cenas 3D sintéticas, o uso de fotografias reais no NLVR2 introduz maior variabilidade e ambiguidade, tornando-o um teste mais realista de generalização. O conjunto de dados é frequentemente usado em conjunto com modelos de aprendizado profundo, particularmente aqueles baseados em arquiteturas de transformadores, que se tornaram o padrão para tarefas multimodais.
O NLVR2 também influenciou benchmarks subsequentes, como o NLVR3 e as tarefas mais amplas de 'implicação visual', onde o objetivo é determinar se uma legenda é implicada por uma imagem. Ele permanece um recurso amplamente citado para avaliar modelos de redes neurais que combinam visão e linguagem, e é frequentemente utilizado em pesquisas sobre extensões de modelos de linguagem de grande escala que incorporam entradas visuais.
Desempenho dos Modelos e Desafios
Modelos iniciais que alcançavam alta precisão no NLVR frequentemente dependiam de estatísticas de imagens sintéticas, mas essas abordagens falharam no NLVR2. A mudança para imagens naturais expôs lacunas significativas nas capacidades dos modelos. Modelos de última geração, em 2024, alcançam cerca de 80-85% de precisão no conjunto de teste, deixando espaço substancial para melhoria. O desempenho humano na mesma tarefa é estimado em mais de 95%, indicando que os sistemas atuais ainda enfrentam dificuldades com raciocínio sutil, como compreender relações implícitas ou lidar com legendas ambíguas.
Os principais desafios incluem lidar com variações de iluminação, perspectiva e aparência dos objetos, bem como resolver contradições lógicas dentro da legenda. Modelos frequentemente falham quando precisam contar objetos com precisão ou quando as legendas envolvem termos espaciais como 'acima' ou 'entre', que dependem das posições relativas dos objetos em duas imagens. Pesquisadores exploraram várias inovações arquitetônicas, incluindo mecanismos de atenção cruzada e camadas de atenção multi-cabeça, para alinhar melhor características visuais com representações textuais.
Aplicações e Impacto
As habilidades testadas pelo NLVR2 são diretamente relevantes para aplicações como sistemas de IA generativa que geram descrições de imagens, tecnologias assistivas para usuários com deficiência visual e sistemas autônomos que precisam raciocinar sobre cenas visuais. O benchmark tem sido usado para avaliar modelos de grandes laboratórios de pesquisa, incluindo aqueles associados a Google DeepMind, OpenAI e Anthropic, bem como instituições acadêmicas como MIT CSAIL e BAIR (Berkeley AI Research).
O NLVR2 também impulsionou o desenvolvimento de novas técnicas de treinamento, como aprendizado contrastivo e aprendizado curricular, onde modelos são treinados em exemplos mais fáceis antes de serem expostos a outros mais difíceis. A disponibilidade pública do conjunto de dados o tornou um campo de teste padrão para comparar modelos multimodais, e ele é frequentemente incluído em suítes de avaliação mais amplas, juntamente com outros benchmarks como VQA e Visual Genome.
Direções Futuras
Em 2025, a pesquisa continua a expandir os limites do raciocínio visual. A integração do NLVR2 com estruturas de modelos de linguagem de grande escala, onde um modelo de linguagem é aumentado com codificadores visuais, tem mostrado promessa. No entanto, esses modelos ainda exibem fragilidade, particularmente quando as legendas contêm palavras raras ou combinações incomuns de objetos. Trabalhos futuros podem envolver a expansão do conjunto de dados para incluir fontes de imagem mais diversas, incorporar raciocínio temporal ou baseado em vídeo e desenvolver métricas que vão além da precisão binária para capturar a qualidade das etapas de raciocínio.
O benchmark permanece uma ferramenta crítica para medir o progresso em inteligência artificial, destacando a lacuna entre a compreensão humana e a de máquinas de cenas visuais. Seus princípios de design influenciaram muitos conjuntos de dados subsequentes, consolidando seu papel como um recurso fundamental no campo do aprendizado de máquina multimodal.