OpenBookQA é um benchmark de resposta a perguntas introduzido em 2018 para avaliar a capacidade de uma máquina de realizar raciocínio de múltiplas etapas usando tanto fatos científicos explícitos quanto conhecimento comum implícito. O benchmark foi criado por uma equipe de pesquisadores, incluindo Todor Mihaylov, Peter Clark, Tushar Khot e Ashish Sabharwal, no Allen Institute for Artificial Intelligence (AI2). Ele consiste em 5.957 perguntas de múltipla escolha em nível de ciências do ensino fundamental, cada uma acompanhada de um pequeno conjunto de fatos científicos centrais de um "livro aberto" com 1.326 fatos científicos elementares. A tarefa exige que os modelos selecionem a resposta correta entre quatro opções, mas, crucialmente, os fatos fornecidos sozinhos são insuficientes; os modelos devem combiná-los com conhecimento de mundo mais amplo e raciocínio lógico para chegar à resposta correta.
O benchmark foi projetado para abordar limitações em conjuntos de dados anteriores de resposta a perguntas, que muitas vezes permitiam que os modelos tivessem sucesso por meio de correspondência superficial de padrões ou memorização. No OpenBookQA, as perguntas são elaboradas de modo que a resposta correta não seja diretamente declarada nos fatos fornecidos, forçando os sistemas a raciocinar sobre como os fatos se aplicam à pergunta. Isso torna o benchmark um teste mais rigoroso da capacidade de raciocínio, e ele se tornou uma ferramenta de avaliação padrão no campo da inteligência artificial e do aprendizado de máquina.
Design e Estrutura
O OpenBookQA contém 5.957 perguntas, divididas em conjuntos de treinamento (4.957), desenvolvimento (500) e teste (500). Cada pergunta é um item de múltipla escolha com quatro opções de resposta. O benchmark inclui um "livro aberto" com 1.326 fatos científicos, que são declarações curtas e declarativas, como "Plantas precisam de luz solar para produzir alimento" ou "A água ferve a 100 graus Celsius". Esses fatos são extraídos de livros didáticos de ciências do ensino fundamental e cobrem tópicos como biologia, física e química.
As perguntas são projetadas de modo que um humano com conhecimento básico de ciências possa respondê-las facilmente, mas elas exigem combinar os fatos fornecidos com senso comum. Por exemplo, uma pergunta pode ser: "Qual das seguintes opções é mais provável de acontecer se uma planta for colocada em um quarto escuro?" Os fatos fornecidos podem declarar que "Plantas precisam de luz para crescer", mas a resposta correta exige inferir que a planta não crescerá bem, o que não é explicitamente declarado. Esse design força os modelos a irem além da simples recuperação e se engajarem em raciocínio.
O benchmark também inclui um conjunto de perguntas "crowdsourced" que foram validadas por anotadores humanos para garantir que sejam inequívocas e respondíveis por não especialistas. Os criadores usaram um processo de múltiplas etapas para gerar e filtrar as perguntas, garantindo alta qualidade e dificuldade.
Avaliação e Desempenho
O OpenBookQA se tornou um benchmark amplamente usado para avaliar modelos de linguagem de grande porte e outros sistemas de IA. Os primeiros modelos, incluindo aqueles baseados em arquiteturas de transformadores, tiveram desempenho ruim, com precisão frequentemente abaixo de 60%, em comparação com o desempenho humano de cerca de 92%. A lacuna destacou o desafio de combinar conhecimento explícito com raciocínio implícito.
Com o tempo, o desempenho melhorou significativamente com avanços em aprendizado profundo e o desenvolvimento de modelos maiores. Em 2021, modelos como o GPT-3 alcançaram precisão em torno de 80% no benchmark, e em 2023, sistemas de última geração, incluindo os da OpenAI e do Google DeepMind, estavam se aproximando ou excedendo 90% de precisão. Essas melhorias foram impulsionadas pelo aumento do tamanho dos modelos, melhores dados de treinamento e técnicas como prompting de cadeia de pensamento, que incentiva os modelos a raciocinar passo a passo.
Apesar desses ganhos, o OpenBookQA continua sendo um benchmark desafiador porque testa raciocínio que não é facilmente capturado por correspondência simples de padrões. Mesmo quando os modelos alcançam pontuações altas, os pesquisadores observam que eles ainda podem depender de regularidades estatísticas em vez de compreensão verdadeira, tornando o benchmark uma ferramenta útil para sondar os limites dos sistemas de IA atuais.
Influência e Legado
O OpenBookQA influenciou o design de benchmarks subsequentes, como o ARC (AI2 Reasoning Challenge) e o CommonsenseQA, que enfatizam igualmente o raciocínio em vez da recuperação. Ele também estimulou pesquisas em modelos aumentados por conhecimento, que incorporam bases de conhecimento externas ou mecanismos de recuperação para melhorar o raciocínio. O benchmark é frequentemente usado em conjunto com outras avaliações para avaliar a inteligência geral de um modelo, e aparece em rankings de organizações como Stanford AI Lab e Berkeley AI Research.
O foco do benchmark no raciocínio de livro aberto também contribuiu para a discussão sobre a diferença entre memorização e compreensão em IA. Ele foi citado em centenas de artigos de pesquisa e é um componente padrão de muitos conjuntos de avaliação de modelos, incluindo os usados por Amazon Web Services e Google Cloud.
Limitações e Críticas
Alguns pesquisadores criticaram o OpenBookQA por ser muito estreito, pois se concentra em ciências do ensino fundamental e pode não generalizar para tarefas de raciocínio mais complexas. Outros observaram que o formato de múltipla escolha pode ser explorado por modelos que tiram vantagem de vieses estatísticos, como selecionar a resposta mais longa ou aquela com mais sobreposição com a pergunta. Para mitigar isso, os criadores introduziram um conjunto de perguntas "parcialmente" validadas, mas isso não resolveu totalmente essas preocupações.
Além disso, o fato de usar um conjunto fixo de fatos significa que modelos treinados em dados semelhantes podem ver perguntas ou fatos parecidos, levando a uma possível contaminação de dados. Isso levou alguns pesquisadores a defenderem benchmarks mais dinâmicos, atualizados ao longo do tempo para evitar saturação.
Apesar dessas limitações, o OpenBookQA permanece uma ferramenta valiosa para avaliar habilidades de raciocínio e desempenhou um papel fundamental no avanço da pesquisa em sistemas de rede neural e IA generativa. Seus princípios de design influenciaram o desenvolvimento de benchmarks mais abrangentes que buscam capturar uma gama mais ampla de habilidades cognitivas.