WebQuestions é um conjunto de dados de referência (benchmark) no campo da inteligência artificial e aprendizado de máquina para avaliar sistemas de resposta a perguntas sobre o grafo de conhecimento estruturado Freebase. O conjunto contém 5.810 pares de pergunta-resposta, onde cada pergunta é uma consulta em linguagem natural e a resposta é um conjunto de entidades ou valores do Freebase. Foi introduzido em 2013 por pesquisadores do Google para abordar a falta de benchmarks realistas e em larga escala para parsing semântico e resposta a perguntas sobre bases de conhecimento.
O WebQuestions foi construído usando a API Google Suggest para encontrar perguntas que as pessoas realmente digitam, e então anotadores associaram cada pergunta a entidades e respostas no Freebase. Esse design torna as perguntas mais representativas de consultas reais de usuários do que benchmarks sintéticos anteriores. O conjunto é dividido em um conjunto de treinamento com 3.778 perguntas e um conjunto de teste com 2.032 perguntas. Um conjunto de desenvolvimento comumente usado, de 200 perguntas, também foi criado, embora não faça parte da distribuição oficial. O benchmark rapidamente se tornou um ambiente de teste padrão para sistemas que mapeiam linguagem natural para formas lógicas ou diretamente para respostas em uma base de conhecimento.
Construção e Anotação
As perguntas foram selecionadas dos registros de sugestões de busca do Google, visando especificamente perguntas que começam com frases como "o que", "quem", "quando" e "onde". Cada pergunta foi anotada manualmente com uma consulta semelhante a SPARQL usando um léxico pré-definido, e a resposta final é o resultado da execução dessa consulta contra o banco de dados Freebase. As anotações foram criadas via crowdsourcing (Amazon Mechanical Turk) e depois verificadas por uma segunda rodada de trabalhadores. Um aspecto notável do conjunto é que algumas perguntas são ambíguas - uma pergunta pode ter múltiplas respostas válidas dependendo da interpretação, e os anotadores foram instruídos a escolher a resposta mais comumente esperada.
O artigo oficial do benchmark, "Semantic Parsing on Freebase from Question-Answer Pairs" (EMNLP 2013), introduziu o conjunto e os resultados de linha de base. Os autores Michael J. Cafarella, Jonathan Berant, Andrew Chou e Percy Liang - o autor principal - estavam na Universidade da Califórnia, Berkeley. O conjunto webQuestions serviu como recurso central de avaliação para vários sistemas subsequentes, incluindo o próprio parser semântico baseado em lambda-DCS do artigo.
Relevância para a Pesquisa em Resposta a Perguntas
O WebQuestions foi projetado para se contrapor aos conjuntos de dados de parsing sintático dominantes dos anos 2000, como o parsing semântico de GeoQuery ou ATIS, que usavam perguntas sintéticas e domínios limitados. Em contraste, o WebQuestions é de domínio aberto e tem um vocabulário muito maior e uma cobertura mais ampla de entidades do Freebase. Ele permitiu o desenvolvimento de sistemas que combinavam parsing semântico lexicalizado com similaridade baseada em embeddings. Nos anos seguintes ao seu lançamento, pesquisadores construíram muitas extensões, incluindo WebQSP (WebQuestions - uma divisão de implicação mais refinada) e melhoria na extração de respostas usando modelos neurais.
Uma limitação notável do WebQuestions é que as respostas estão diretamente ligadas ao Freebase, que é um grafo de conhecimento descontinuado pelo Google em 2015 (embora os dados permaneçam acessíveis via snapshots). Isso afeta a transferibilidade de muitos modelos para bases de conhecimento atuais. Ainda assim, o benchmark continua sendo um elemento essencial para avaliar a generalização composicional em resposta a perguntas.
O conjunto também expõe um desafio chave: a lacuna lexical entre linguagem natural livre e os termos do esquema da base de conhecimento. Muitas perguntas exigem reconhecer sinônimos, abreviações ou relações indiretas. Isso inspirou uma linha de pesquisa para aprender ou estender a detecção de menções latentes e vinculação de entidades de forma semissupervisionada, que mais tarde alimentou abordagens modernas da era dos grandes modelos de linguagem.
Metodologia e Métricas
A principal métrica de avaliação é o F1 médio, onde, para cada pergunta, o sistema prevê um conjunto de entidades/valores do Freebase comparado ao conjunto de respostas douradas. A precisão é a fração de respostas previstas encontradas no conjunto dourado, a revocação é a fração de respostas douradas que o sistema encontra, e o escore F1 é a média harmônica. O código oficial de avaliação foi compartilhado no repositório GitHub do webQuestions. Os primeiros sistemas de linha de base alcançaram escores F1 em torno de 0,30, e sistemas contemporâneos no conjunto de teste original chegaram a cerca de 0,78 a 0,79 por volta de 2020, principalmente usando abordagens neurais de ponta a ponta, como GrailQA ou leitores baseados em Transformer. Em 2023, desempenhos de estado da arte (SOTA) perto de 0,84 foram relatados, mas alguns envolvem estratégias estendidas de vinculação de entidades.
Legado e Influência
O WebQuestions influenciou outros esforços de criação de benchmarks, como "ComplexQuestions" e "QALD" (Question Answering over Linked Data). Também foi usado como base para testes adversariais de modelos com embeddings de grafos de conhecimento. Muitos frameworks populares de QA de código aberto (como KELT-DELER ou freebase) usam o WebQuestions para verificações de sanidade. Ele continua sendo um benchmark frequentemente usado para a robustez do parsing semântico, particularmente ao combinar um modelo de linguagem pré-treinado com uma base de conhecimento externa.
O conjunto de dados WebQuestions é mantido por seus criadores, mas, a partir de 2023, está arquivado no GitHub ("webquestions") e pode ser acessado livremente. O conjunto contém um arquivo com IDs de perguntas que se vinculam a pares separados de entidades QR, facilitando o uso com indexação de KG, mas os usuários precisam garantir que sua versão do dump do Freebase corresponda às anotações.
Ver Também
- inteligência artificial
- aprendizado de máquina
- rede neural
- grande modelo de linguagem
- OpenAI
- são alguns exemplos que se baseiam na mesma ideia de espaço de representação conjunta.