SWAG (Situations With Adversarial Generations) é um conjunto de dados de benchmark em larga escala projetado para avaliar a capacidade de sistemas de inteligência artificial de realizar raciocínio de senso comum sobre situações cotidianas. Foi introduzido em 2018 por uma equipe de pesquisadores da Universidade de Washington e do Instituto Allen de Inteligência Artificial, liderada por Rowan Zellers e Yejin Choi. O conjunto de dados é construído como uma tarefa de inferência em linguagem natural de múltipla escolha: dada uma premissa descrevendo uma situação, um modelo deve escolher a continuação mais plausível entre quatro opções. O SWAG é notável por seu uso de técnicas de geração "adversarial", que criam distratores desafiadores que são gramaticalmente fluentes e semanticamente plausíveis, mas incorretos, testando assim um raciocínio mais profundo em vez de padrões superficiais de linguagem.
O benchmark tornou-se uma ferramenta de avaliação padrão no campo do processamento de linguagem natural e aprendizado de máquina, particularmente para medir o progresso no raciocínio de senso comum. Tem sido amplamente utilizado para avaliar grandes modelos de linguagem e outras arquiteturas de redes neurais, e influenciou o desenvolvimento de benchmarks subsequentes, como o HellaSwag, que estende a abordagem com exemplos mais complexos e diversos. O design do SWAG enfatiza a importância da avaliação adversarial em IA, empurrando os modelos além do simples reconhecimento de padrões em direção a uma compreensão mais robusta.
Construção do Conjunto de Dados
O conjunto de dados SWAG foi criado coletando pares de frases de um corpus de legendas de vídeos, especificamente do conjunto de dados Large Scale Movie Description Challenge (LSMDC), que contém descrições de cenas de filmes. Os pesquisadores extraíram 73.000 exemplos de treinamento, 20.000 exemplos de validação e 20.000 exemplos de teste. Para cada premissa, eles geraram quatro finais possíveis: um final correto (a legenda real) e três finais incorretos. Os finais incorretos foram produzidos usando uma combinação de modelos escritos por humanos e métodos de geração automatizada, incluindo um modelo de linguagem treinado para produzir continuações plausíveis, mas incorretas. Esse processo de geração adversarial garante que os distratores não sejam facilmente distinguíveis por heurísticas simples, como gramaticalidade ou coerência temática.
Cada exemplo no SWAG é enquadrado como um problema de inferência em linguagem natural, onde a premissa é uma descrição curta de uma situação, e a tarefa é identificar o final mais provável de ocorrer. O conjunto de dados cobre uma ampla gama de atividades cotidianas, desde cozinhar e dirigir até interações sociais, exigindo que os modelos se baseiem em conhecimento geral do mundo e raciocínio causal.
Avaliação e Significância
O SWAG é usado como um benchmark no campo da inteligência artificial e aprendizado de máquina, particularmente para avaliar grandes modelos de linguagem e outros sistemas de aprendizado profundo. A tarefa é alcançar alta precisão na seleção do final correto, com um palpite aleatório resultando em 25% de precisão. Modelos iniciais, incluindo aqueles baseados em redes neurais recorrentes e arquiteturas iniciais de transformadores, tiveram dificuldade em exceder 60% de precisão, destacando a dificuldade do raciocínio de senso comum. A introdução de modelos baseados em transformadores, como o BERT, levou a melhorias significativas, com alguns modelos alcançando mais de 80% de precisão até 2019.
O benchmark tem sido fundamental para impulsionar a pesquisa em raciocínio de senso comum e tem sido citado em numerosos artigos. É frequentemente usado juntamente com outros benchmarks como GLUE e SuperGLUE para fornecer uma avaliação abrangente das capacidades de compreensão de linguagem de um modelo. A natureza adversarial do SWAG o torna particularmente desafiador, pois os modelos devem evitar serem enganados por opções superficialmente plausíveis, mas incorretas.
Relação com Outros Benchmarks
O SWAG inspirou vários benchmarks de acompanhamento, mais notavelmente o HellaSwag, que foi introduzido em 2019 pelo mesmo grupo de pesquisa. O HellaSwag usa uma abordagem de geração adversarial semelhante, mas com um conjunto de dados maior e mais diversificado, e tornou-se um benchmark popular para avaliar grandes modelos de linguagem. Outros benchmarks relacionados incluem o Winograd Schema Challenge, que testa resolução de correferência, e o benchmark Physical Interaction: Question Answering (PIQA), que foca no senso comum físico. O SWAG é frequentemente agrupado com esses benchmarks como parte de um esforço mais amplo para avaliar a compreensão do mundo por sistemas de IA além da simples classificação de texto.
O benchmark também é usado no contexto de IA generativa, onde os modelos são avaliados em sua capacidade de gerar texto coerente e contextualmente apropriado. Embora o SWAG seja uma tarefa discriminativa (escolher entre opções), ele fornece insights sobre as capacidades generativas de um modelo, pois um modelo que pode gerar continuações plausíveis provavelmente terá um bom desempenho na tarefa de seleção.
Limitações e Críticas
Apesar de seu uso generalizado, o SWAG enfrentou algumas críticas. Uma limitação é que o conjunto de dados é derivado de legendas de filmes, que podem não representar totalmente a diversidade de situações cotidianas, potencialmente introduzindo vieses. Além disso, o processo de geração adversarial, embora eficaz, pode às vezes produzir distratores que são muito fáceis ou muito difíceis, dependendo do modelo. Alguns pesquisadores notaram que um alto desempenho no SWAG não se traduz necessariamente em raciocínio de senso comum robusto em aplicações do mundo real, pois a tarefa ainda é relativamente estreita. No entanto, o SWAG continua sendo uma ferramenta valiosa para avaliar o progresso na compreensão de linguagem natural e contribuiu significativamente para o desenvolvimento de sistemas de IA mais capazes.
Impacto na Pesquisa em IA
O SWAG teve um impacto duradouro no campo da inteligência artificial, particularmente nas áreas de processamento de linguagem natural e raciocínio de senso comum. Tem sido usado para avaliar uma ampla gama de modelos, desde redes neurais iniciais até grandes modelos de linguagem de última geração, e ajudou a identificar os pontos fortes e fracos de diferentes arquiteturas. O benchmark também incentivou o desenvolvimento de técnicas de avaliação adversarial, que agora são amplamente usadas na pesquisa em IA para testar a robustez dos modelos. Em 2025, o SWAG continua a ser referenciado na literatura acadêmica e está incluído em muitos conjuntos de avaliação de modelos, servindo como uma ferramenta fundamental para entender e melhorar a capacidade da IA de raciocinar sobre o mundo.
Ver Também
- inteligência artificial
- aprendizado de máquina
- aprendizado profundo
- rede neural
- grande modelo de linguagem
- transformador
- OpenAI
- Google DeepMind
- IA generativa
- MIT CSAIL
- Stanford AI Lab
- Berkeley AI Research
- Universidade Carnegie Mellon
- Universidade de Toronto
- allen-institute-for-ai
- commonsense-reasoning
- processamento de linguagem natural
- benchmark
- HellaSwag
- winograd-schema-challenge