Winoground é um conjunto de dados de referência (benchmark) e uma suíte de avaliação projetada para testar a compreensão composicional de modelos de visão-linguagem. Foi introduzido em 2022 por pesquisadores da Universidade de Toronto e outros, e tornou-se um ponto de referência padrão para avaliar se os modelos realmente compreendem a relação entre o conteúdo visual e a estrutura linguística, em vez de depender de atalhos estatísticos ou correlações superficiais. O nome do benchmark é um amálgama de "Winograd" (em referência ao Desafio do Esquema de Winograd para linguagem natural) e "ground" (como em ancoragem de linguagem a imagens).
A tarefa central do Winoground envolve um conjunto de 400 exemplos cuidadosamente construídos. Cada exemplo consiste em duas imagens e duas legendas. As legendas são projetadas para serem desafiadoras do ponto de vista composicional: elas contêm o mesmo conjunto de palavras, mas em uma ordem diferente, o que altera o significado. Por exemplo, uma legenda pode ser "o cachorro persegue o gato", enquanto a outra é "o gato persegue o cachorro". As duas imagens correspondentes retratam cada cenário. Um modelo recebe ambas as imagens e ambas as legendas e deve associar corretamente cada legenda à sua imagem correspondente. O sucesso exige que o modelo analise a estrutura sintática das legendas e a alinhe com as relações visuais nas imagens, como papéis de agente-ação-paciente, preposições espaciais (por exemplo, "sobre" vs. "dentro") ou pares de atributo-objeto.
O benchmark foi criado para abordar uma fraqueza conhecida em muitos modelos de visão-linguagem: eles frequentemente têm bom desempenho em tarefas que podem ser resolvidas pelo reconhecimento de objetos individuais ou pelo uso de prioridades linguísticas, mas falham quando a tarefa exige compreender como a disposição das palavras altera o significado. Por exemplo, um modelo pode identificar corretamente que uma imagem contém um cachorro e um gato, mas pode não ser capaz de determinar qual animal está realizando a ação. O Winoground fornece um teste controlado para essa habilidade e revelou lacunas significativas no desempenho até mesmo de modelos de última geração.
Design e Avaliação
Cada exemplo do Winoground é pontuado em três métricas separadas: "pontuação de legenda", "pontuação de imagem" e "pontuação de grupo". A pontuação de legenda mede a proporção de exemplos em que o modelo associa corretamente ambas as legendas às suas respectivas imagens. A pontuação de imagem mede a proporção em que o modelo associa corretamente ambas as imagens às suas respectivas legendas (o que é simétrico, mas pode diferir devido a assimetrias do modelo). A pontuação de grupo é a mais rigorosa: exige que o modelo acerte ambas as associações legenda-imagem em uma única tentativa, o que significa que o modelo não deve apenas identificar o par correto, mas também evitar qualquer confusão entre as duas opções.
O conjunto de dados foi construído por anotadores humanos que geraram os pares de imagens e legendas. As legendas foram projetadas para serem pares mínimos, diferindo apenas em um elemento composicional específico. As imagens foram então obtidas ou geradas para corresponder precisamente a cada legenda. Os criadores também filtraram os exemplos para garantir que não fossem solucionáveis apenas por detecção simples de objetos, e verificaram que anotadores humanos conseguiam resolver a tarefa com precisão quase perfeita, estabelecendo uma linha de base humana.
Resultados e Descobertas
Avaliações iniciais de modelos proeminentes de visão-linguagem no Winoground mostraram que a maioria dos modelos teve desempenho no nível do acaso ou próximo dele (cerca de 25% para a pontuação de grupo, já que há duas associações possíveis e o modelo deve escolher a correta). Por exemplo, modelos como CLIP (Contrastive Language-Image Pre-training) e outras arquiteturas de codificador duplo, que incorporam imagens e texto em um espaço compartilhado, frequentemente falhavam em distinguir entre as duas legendas. Isso foi surpreendente porque esses modelos haviam alcançado pontuações altas em outros benchmarks, como recuperação de legendas de imagens ou resposta a perguntas visuais. A falha destacou que esses modelos não estavam realmente realizando raciocínio composicional; em vez disso, frequentemente dependiam da presença de objetos individuais ou de correlações entre palavras e características visuais que não exigiam compreensão da estrutura relacional.
Trabalhos subsequentes usaram o Winoground para investigar as limitações de várias arquiteturas de modelos, incluindo aquelas baseadas em Transformer (architecture)s e Large language models quando combinadas com codificadores visuais. Pesquisadores descobriram que modelos com mecanismos de atenção mais sofisticados ou treinados com objetivos adicionais, como camadas de Cross-Attention ou Multi-Head Attention, às vezes mostram desempenho melhorado, mas mesmo assim, as pontuações permanecem muito abaixo dos níveis humanos. O benchmark também tem sido usado para estudar o efeito da escala dos dados de treinamento e o uso de dados sintéticos, com alguns estudos mostrando que aumentar os dados de treinamento com exemplos composicionais pode melhorar o desempenho no Winoground, mas a generalização continua sendo um desafio.
Relação com Outros Benchmarks
O Winoground faz parte de uma família mais ampla de benchmarks que testam a generalização composicional em IA. Ele está conceitualmente relacionado ao Desafio do Esquema de Winograd no processamento de linguagem natural, que testa a resolução de correferência e o raciocínio de senso comum. No domínio de visão-linguagem, ele complementa outros benchmarks como VQA (Visual Question Answering) e recuperação de imagem-texto, mas isola especificamente o aspecto composicional. Ao contrário de tarefas que permitem que os modelos usem prioridades linguísticas ou estatísticas de co-ocorrência de objetos, o Winoground força o modelo a usar a estrutura sintática exata da legenda. Isso o torna uma ferramenta diagnóstica valiosa para pesquisadores que desenvolvem novas arquiteturas, como aquelas baseadas em Residual Network (ResNet)s ou U-Nets para codificação de imagens, e para técnicas de treinamento como Curriculum Learning ou Reinforcement Learning from AI Feedback (RLAIF) (aprendizado por reforço a partir de feedback de IA).
O benchmark também inspirou variações e extensões, como Winoground para vídeo ou para configurações multilíngues, embora estas sejam menos padronizadas. O conjunto de dados original está disponível publicamente e foi integrado a várias suítes de avaliação de modelos usadas por empresas e laboratórios de pesquisa, incluindo os da OpenAI, Google DeepMind e Anthropic, como uma forma de acompanhar o progresso na compreensão composicional.
Limitações e Críticas
Alguns pesquisadores notaram que o Winoground tem limitações. O conjunto de dados é relativamente pequeno (400 exemplos), o que pode levar a alta variância nos resultados de avaliação, especialmente para modelos estocásticos. Os exemplos também estão todos em inglês e focam em um conjunto limitado de fenômenos composicionais, como ordem sujeito-verbo-objeto e relações espaciais, que podem não capturar toda a gama de desafios composicionais na compreensão de visão-linguagem. Além disso, a natureza binária da tarefa (associar duas imagens a duas legendas) às vezes pode ser resolvida por um modelo que usa uma heurística simples, como focar em uma única palavra distintiva, sem compreender totalmente a frase. Apesar dessas críticas, o Winoground continua sendo um benchmark amplamente citado e influente no campo da Artificial intelligence e Machine learning, e continua a ser usado como um teste padrão para novos modelos e métodos de treinamento.