CommonsenseQA é um conjunto de dados de referência para avaliar as capacidades de raciocínio de senso comum de sistemas de inteligência artificial. Lançado em 2019 por pesquisadores da Universidade de Washington e do Allen Institute for Artificial Intelligence, consiste em 12.247 questões de múltipla escolha, cada uma com uma resposta correta e quatro opções de distratores. O conjunto de dados foi projetado para preencher uma lacuna nos benchmarks existentes de processamento de linguagem natural, que frequentemente focavam na recuperação factual ou na compreensão sintática, mas não testavam adequadamente a capacidade de um modelo de aplicar o conhecimento cotidiano sobre o mundo.
As questões em CommonsenseQA são geradas a partir do grafo de conhecimento ConceptNet, uma grande rede semântica que codifica relações entre conceitos cotidianos. Cada questão é baseada em uma tripla do ConceptNet, como "um cachorro é um animal" ou "você usa um guarda-chuva quando chove". Os criadores do conjunto de dados usaram trabalhadores de crowdsourcing para transformar essas triplas em perguntas de linguagem natural e para gerar opções de resposta plausíveis mas incorretas. Esse processo garante que as questões exijam raciocínio de senso comum genuíno, em vez de simples correspondência de padrões ou memorização.
Construção e Design
A criação do CommonsenseQA envolveu um pipeline de múltiplas etapas. Primeiro, os pesquisadores selecionaram um conjunto de triplas do ConceptNet que envolviam conceitos comuns e cotidianos. Em seguida, usaram o Amazon Mechanical Turk para que trabalhadores escrevessem perguntas que testassem se um sistema conseguia inferir a relação correta a partir da tripla. Para cada pergunta, os trabalhadores também geraram quatro respostas distratoras que eram semanticamente relacionadas à resposta correta, porém incorretas no contexto da pergunta. Esse design adversário torna o benchmark desafiador, pois os distratores muitas vezes são plausíveis, mas errados.
O conjunto de dados final foi dividido em conjuntos de treinamento, desenvolvimento e teste. A
conjunto de treinamento contém 9.741 perguntas, o conjunto de desenvolvimento contém 1.221 e o conjunto de teste contém 1.241. Isso
último não é divulgado publicamente e os pesquisadores devem enviar seus modelos a um servidor de avaliação para obter resultados sobre ele, o que ajuda a evitar overfitting.
Avaliação e Impacto
O CommonsenseQA rapidamente se tornou um benchmark padrão para a avaliação de grandes modelos de linguagem e outros sistemas de IA. Os primeiros resultados mostraram que mesmo os modelos de ponta da época, como o BERT e o GPT-2, apresentavam desempenho apenas ligeiramente superior ao de chutes aleatórios, que é uma precisão de 20% em tarefas de múltipla escolha com cinco opções. Isso destacou a dificuldade do raciocínio de senso comum para sistemas de IA.
Trabalhos subsequentes melhoraram significativamente o desempenho. Modelos que incorporavam conhecimento externo, como aqueles que recuperavam triplas relevantes do ConceptNet ou usavam redes neurais de grafos, alcançaram precisão mais alta. O advento de modelos pré-treinados maiores, como GPT-3 e modelos posteriores, também levou a ganhos substanciais de desempenho. Em 1950, alguns modelos estavam se aproximando de 80% de precisão no conjunto de desenvolvimento, enquanto a performance humana é estimada em torno de 91%.
Relação com Outros Benchmarks
O CommonsenseQA faz parte de uma família ampla de benchmarks de raciocínio de senso comum, incluindo o Winograd Schema Challenge, SWAG e HellaSwag. Diferente desses benchmarks, que focam na resolução de pronomes ou na completude de frases, o CommonsenseQA testa explicitamente a resposta a perguntas de múltipla escolha com um conjunto diversificado de cenários cotidianos. Ele tem sido usado juntamente com outros conjuntos de dados para avaliar sistemas de IA de propósito geral, incluindo os desenvolvidos por empresas como OpenAI, Anthropic e Google DeepMind.
O conjunto de dados também foi estendido e adaptado. Por exemplo, uma variante chamada CommonsenseQA 2.0 foi lançada em 2021, que usa uma abordagem de geração de perguntas diferente baseada em modelo sexo da página «B» central. Além disso, os pesquisadores criaram divisões adversariais do CommonsenseQA para testar a robustez dos modelos, onde as perguntas são modificadas para dificultar modelos que se baseiam em pistas superficiais.
Limitações e Críticas
Apesar de sua popularidade, o CommonsenseQA a críticas. Alguns pesquisadores observaram o existe no conjunto de dados tendências, como a tendência de certas opções de resposta serem mais frequentes, ou ainda de respostas corretas serem mais longas ou específicas. Isso permite que os modelos explorem regularidades estatísticas sem realizar o estudo de raciocínio de verdade. Além disso, os problemas são todos em inglês e refletem uma visão da vida ocidental de senso comum, limitando a aplicabilidade em outras culturas e idiomas.
Outra limitação é que o conjunto de dados é estático, podendo capturar o aspecto evolutivo do conhecimento de senso comum. Como o mundo muda, o que é considerado senso comum pode mudar, mas o modelo é o mesmo. Isso levou pesquisadores a demandar métodos de avaliação mais dinâmicos e diversificados.
Uso Atual
Em meados dos anos 2020, o CommonsenseQA permanece um benchmark amplamente usado na comunidade de pesquisa em Artificial intelligence e Machine learning. Ele é frequentemente incluído nos pacotes de avaliação de grandes modelos de linguagem, ao lado de benchmarks como MMLU e BIG-bench. O conjunto de dados é gratuito para fins de pesquisa e está disponível em plataformas como Hugging Face, o que facilita o acesso e uso pelos pesquisadores.
O CommonsenseQA também é usado para estudar as habilidades de raciocínio dos modelos mais em detalhe. Por exemplo, pesquisadores analisaram quais tipos de conhecimento comum (espacial, temporal, social) são mais desafiadores para os modelos e usaram o conjunto de dados para testar as representações internos de modelos baseados em Transformer (architecture). Essa pesquisa contínua continua a informar desenvolvimento de sistemas de IA mais robustos e adaptáveis.