O Stanford Question Answering Dataset, comumente conhecido como SQuAD, é um conjunto de dados de referência (benchmark) para avaliar modelos de aprendizado de máquina em compreensão de leitura e resposta a perguntas. Ele consiste em perguntas feitas por trabalhadores colaborativos (crowdworkers) sobre um conjunto de artigos da Wikipédia, onde a resposta para cada pergunta é um segmento de texto (um intervalo) do artigo correspondente. O SQuAD é amplamente utilizado na pesquisa em processamento de linguagem natural para medir quão bem os modelos conseguem compreender uma determinada passagem e localizar respostas exatas, servindo como um marco fundamental no desenvolvimento de sistemas modernos de resposta a perguntas.
O SQuAD foi introduzido por pesquisadores da Universidade de Stanford e lançado pela primeira vez em 2016. A versão inicial, posteriormente chamada de SQuAD1.1, contém mais de 100.000 pares de pergunta-resposta derivados de 536 artigos da Wikipédia. Uma versão subsequente, o SQuAD2.0, foi lançada em 2018 e adicionou mais de 50.000 perguntas sem resposta, projetadas para testar a capacidade do modelo de se abster de responder quando a passagem não contém a informação. A popularidade do conjunto de dados decorre de seu formato limpo, da objetividade das respostas baseadas em intervalos e de sua capacidade de fornecer uma métrica simples para comparar o desempenho dos modelos.
Estrutura do Conjunto de Dados
A construção do SQuAD envolveu trabalhadores colaborativos, recrutados por meio do Amazon Mechanical Turk, que foram solicitados a ler um artigo da Wikipédia e, em seguida, gerar perguntas para as quais a resposta fosse um intervalo contíguo de texto. Os artigos foram selecionados a partir de uma lista curada de entradas de alta qualidade cobrindo uma variedade de tópicos, incluindo história, ciência e geografia. Cada pergunta foi associada a um único intervalo de resposta preciso, e respostas adicionais foram coletadas para considerar formulações alternativas válidas. O conjunto de dados original do SQuAD1.1 foi dividido em um conjunto de treinamento com cerca de 87.000 perguntas e um conjunto de desenvolvimento com cerca de 10.000 perguntas, com um conjunto de teste oculto usado para avaliação oficial.
O SQuAD2.0 introduziu um desafio significativo ao combinar as perguntas originais com novas perguntas sem resposta. Esses exemplos adversariais foram escritos por trabalhadores colaborativos com base em parágrafos semelhantes aos do conjunto de dados original, mas que foram modificados para alterar fatos específicos (por exemplo, substituindo uma data ou um nome). O objetivo era exigir que os modelos não apenas respondessem corretamente quando um intervalo existisse, mas também rejeitassem perguntas quando nenhuma resposta estivesse presente. Esse desenvolvimento teve um grande impacto, pois muitos sistemas anteriores não conseguiam lidar com o requisito de abstenção, resultando em quedas substanciais de desempenho no novo benchmark.
Métricas de Avaliação
A principal métrica para o SQuAD é a pontuação de Correspondência Exata (Exact Match, EM), que mede a porcentagem de previsões que correspondem exatamente a uma das respostas corretas, após a normalização (como remoção de pontuação e artigos). Uma métrica secundária, a pontuação F1, calcula a sobreposição entre os tokens previstos e os tokens corretos, fornecendo uma medida mais tolerante que credita correspondências parciais. Essas métricas são calculadas sobre o conjunto de desenvolvimento, e os rankings oficiais têm sido historicamente usados para classificar as submissões. O ranking era hospedado em um site dedicado, administrado pelo grupo de Processamento de Linguagem Natural de Stanford, e serviu como um ponto focal para a pesquisa competitiva até sua atualização final.
Influência na Pesquisa em PLN
O SQuAD desempenhou um papel fundamental na evolução do processamento de linguagem natural, coincidindo com o surgimento do aprendizado profundo e das arquiteturas baseadas em transformers. Os primeiros sistemas de alto desempenho em 2016 dependiam de redes neurais recorrentes e mecanismos de atenção, mas a introdução do modelo Transformer em 2017 e os subsequentes modelos de linguagem pré-treinados mudaram fundamentalmente o cenário. Notavelmente, a OpenAI e outros laboratórios lançaram modelos como o BERT (uma variante do Google) que alcançaram desempenho sobre-humano no SQuAD1.1, e modelos posteriores melhoraram os resultados no SQuAD2.0. O SQuAD tornou-se um ambiente de teste padrão para novas arquiteturas, incluindo modelos de linguagem de grande porte como o GPT e o Claude da Anthropic, que são frequentemente avaliados contra o benchmark durante o desenvolvimento.
A influência do conjunto de dados vai além dos rankings. O SQuAD estimulou a criação de conjuntos de dados e tarefas derivadas, como resposta a perguntas extrativas em outros idiomas e QA em múltiplos documentos. Ele também influenciou o design de benchmarks posteriores, como o Natural Questions e o TriviaQA, que se concentram em cenários de domínio aberto, em vez de passagem única. Pesquisadores do MIT CSAIL, da Berkeley AI Research e de outras instituições usaram o SQuAD para estudar a robustez dos modelos, a calibração e os limites do raciocínio extrativo.
Limitações e Críticas
Apesar de seu sucesso, o SQuAD tem limitações notáveis. O formato de resposta é restrito a intervalos de texto contíguos, o que exclui perguntas de sim/não, contagens ou respostas que exijam síntese entre frases. As passagens derivadas da Wikipédia são relativamente curtas e autocontidas, de modo que o benchmark não testa habilidades como raciocínio em múltiplas etapas (multi-hop) ou o manuseio de texto ruidoso do mundo real. As perguntas geradas por trabalhadores colaborativos também tendem a favorecer a correspondência lexical, o que significa que os modelos podem obter pontuações altas ao identificar intervalos semelhantes às palavras da pergunta, em vez de compreender verdadeiramente o conteúdo. Essas críticas levaram ao desenvolvimento de benchmarks mais desafiadores, mas o SQuAD continua sendo um ponto de referência fundamental para medir o progresso na compreensão de leitura e na resposta a perguntas.
Legado e Uso Atual
O SQuAD ainda é frequentemente citado em artigos acadêmicos e usado como avaliação de linha de base no campo mais amplo da inteligência artificial. Muitos aprendizado de máquina frameworks modernos incluem o SQuAD como um conjunto de dados padrão em suas bibliotecas, e ele é um exercício comum em cursos universitários de processamento de linguagem natural. Embora os modelos mais recentes frequentemente alcancem pontuações acima de 90% de EM no SQuAD1.1, o significado histórico do benchmark reside em seu papel de demonstrar o poder dos sistemas treinados em tarefas de leitura estruturada. No início da década de 2020, o SQuAD continua sendo um ponto de referência para comparar modelos de linguagem de propósito geral, embora suítes de avaliação como GLUE e SuperGLUE tenham se tornado mais dominantes.