SQuAD-Adversarial (SQuAD-Adversarial) é um conjunto de dados de referência para avaliar a robustez de modelos de compreensão de leitura. Ele foi construído introduzindo perturbações adversariais ao Stanford Question Answering Dataset (SQuAD) original, uma coleção amplamente utilizada de pares de pergunta e resposta derivados de artigos da Wikipédia. O propósito principal do SQuAD-Adversarial é expor fraquezas em modelos que apresentam bom desempenho em benchmarks padrão, mas falham quando confrontados com modificações sutis e elaboradas por humanos nas perguntas de entrada. Essas perturbações são projetadas para serem semanticamente equivalentes às perguntas originais, mas incluem frases ou cláusulas distrativas que podem enganar modelos que dependem de pistas lexicais superficiais em vez de compreensão profunda.
O conjunto de dados foi introduzido em 2018 por pesquisadores da Carnegie Mellon University e da University of Washington, liderados por Robin Jia e Percy Liang. O trabalho foi apresentado na Conferência de 2017 sobre Métodos Empíricos em Processamento de Linguagem Natural (EMNLP), com o artigo intitulado "Adversarial Examples for Evaluating Reading Comprehension Systems." O processo de criação envolveu anotadores humanos, a quem foi solicitado adicionar sentenças irrelevantes às perguntas originais do SQuAD sem alterar o significado ou a resposta. Por exemplo, uma pergunta como "Qual é a cor do céu?" poderia ser perturbada para "Qual é a cor do céu, dado que a grama é verde?" O texto adicionado é gramaticalmente correto e tematicamente relacionado, tornando a perturbação difícil de ser ignorada pelos modelos.
Construção e Design
A construção do SQuAD-Adversarial seguiu um procedimento sistemático. Os anotadores receberam as perguntas originais do SQuAD e os parágrafos de contexto correspondentes. Sua tarefa era acrescentar uma sentença curta e plausível à pergunta que não alterasse a resposta pretendida. As sentenças adicionadas frequentemente faziam referência a entidades ou fatos do contexto, criando uma forma de distrator que poderia confundir modelos que dependem de correspondência de padrões ou sobreposição de palavras-chave. O conjunto de dados final contém 9.537 perguntas adversariais, cada uma emparelhada com o contexto e a resposta originais do SQuAD. As perturbações foram validadas para garantir que leitores humanos ainda pudessem responder às perguntas corretamente, confirmando que a dificuldade era específica para sistemas automatizados.
Impacto na Avaliação de Modelos
O SQuAD-Adversarial rapidamente se tornou um teste de estresse padrão para modelos de compreensão de leitura. No benchmark original do SQuAD, muitos modelos alcançaram desempenho próximo ao humano, com pontuações F1 superiores a 90%. No entanto, quando avaliados no SQuAD-Adversarial, os mesmos modelos mostraram quedas significativas de desempenho, frequentemente caindo de 20 a 30 pontos percentuais na pontuação F1. Essa discrepância destacou a fragilidade dos sistemas neurais de compreensão de leitura, particularmente aqueles baseados em arquiteturas de aprendizado profundo como modelos transformadores. O conjunto de dados demonstrou que os modelos frequentemente dependiam de características superficiais, como correspondências exatas de palavras entre a pergunta e o contexto, em vez de capturar a semântica subjacente.
Conexão com Robustez Adversarial
A criação do SQuAD-Adversarial faz parte de um esforço de pesquisa mais amplo em aprendizado de máquina para entender e melhorar a robustez adversarial. Diferentemente de exemplos adversariais em classificação de imagens, que frequentemente envolvem perturbações de pixels imperceptíveis, as perturbações no SQuAD-Adversarial são adições em linguagem natural facilmente percebidas por humanos. Isso torna o benchmark particularmente relevante para avaliar modelos de linguagem de grande escala e outros sistemas usados em aplicações do mundo real, como resposta a perguntas e IA conversacional. Os achados do SQuAD-Adversarial influenciaram trabalhos subsequentes sobre aumento de dados e estratégias de treinamento, como incorporar exemplos adversariais durante o treinamento para melhorar a generalização.
Desenvolvimentos Posteriores e Legado
Após o lançamento do SQuAD-Adversarial, vários benchmarks relacionados foram desenvolvidos, incluindo o SQuAD 2.0, que adicionou perguntas sem resposta, e outros conjuntos de dados adversariais para inferência em linguagem natural e tradução automática. A metodologia de perturbação adversarial com intervenção humana foi adotada por outros grupos de pesquisa para criar conjuntos de avaliação mais desafiadores. O conjunto de dados permanece um ponto de referência para medir o progresso em compreensão de leitura robusta, e é frequentemente citado em artigos sobre interpretabilidade e robustez de redes neurais. No início dos anos 2020, modelos de linguagem de grande escala modernos, como os desenvolvidos por OpenAI e Google DeepMind, mostraram desempenho melhorado no SQuAD-Adversarial, mas o benchmark ainda revela lacunas no tratamento de distratores linguísticos complexos.
Limitações e Críticas
Alguns pesquisadores notaram que o SQuAD-Adversarial se concentra em um tipo específico de perturbação - adicionar cláusulas irrelevantes - e pode não capturar outras formas de ataques adversariais, como paráfrases ou substituições no nível de palavras. Além disso, o conjunto de dados é derivado de artigos da Wikipédia, o que limita sua cobertura de domínio. Apesar dessas limitações, o SQuAD-Adversarial permanece uma ferramenta valiosa para diagnosticar fraquezas de modelos e orientar o desenvolvimento de sistemas de inteligência artificial mais robustos. Sua influência se estende além da academia, pois empresas que constroem produtos de resposta a perguntas usam técnicas semelhantes de avaliação adversarial para testar seus sistemas antes da implantação.