ScienceQA é um conjunto de dados de referência em larga escala projetado para avaliar as capacidades de sistemas de inteligência artificial em responder perguntas de ciências. Foi introduzido em 2022 por uma equipe de pesquisadores da Universidade da Califórnia, em Los Angeles, e outras instituições. O conjunto de dados compreende mais de 21.000 perguntas de múltipla escolha que abrangem disciplinas como física, química, biologia e ciências da terra, com cada pergunta acompanhada de uma imagem ou diagrama e informações contextuais. O ScienceQA é notável por sua natureza multimodal, exigindo que os modelos integrem compreensão textual e visual para chegar às respostas corretas.
O benchmark foi criado para abordar limitações em conjuntos de dados de perguntas e respostas anteriores, que frequentemente se concentravam em tarefas apenas de texto ou apenas de imagem. O ScienceQA oferece um cenário mais realista e desafiador, pois as perguntas de ciências frequentemente envolvem a interpretação de diagramas, gráficos e montagens experimentais. As perguntas são provenientes de currículos de ciências do ensino fundamental e médio, tornando-as acessíveis a uma ampla gama de modelos de IA, embora ainda exijam habilidades genuínas de raciocínio. Cada pergunta é anotada com opções de múltipla escolha, a resposta correta e uma explicação legível por humanos, permitindo tanto a avaliação quanto a análise do raciocínio do modelo.
Estrutura do Conjunto de Dados e Anotações
O ScienceQA contém 21.208 perguntas, divididas em conjuntos de treinamento, validação e teste. O conjunto de treinamento inclui 12.726 perguntas, o conjunto de validação tem 4.241 perguntas e o conjunto de teste contém 4.241 perguntas. Cada pergunta está associada a uma disciplina, um tópico, um nível de série e uma categoria (por exemplo, "ciências naturais" ou "ciências sociais"). As anotações também incluem um contexto textual que fornece informações de fundo e um diagrama ou imagem quando relevante. A resposta correta é fornecida, juntamente com uma explicação concisa escrita por anotadores humanos, que serve como referência para avaliar a qualidade das explicações geradas pelos modelos.
O conjunto de dados cobre uma ampla gama de tópicos de ciências, incluindo física (por exemplo, forças, energia), química (por exemplo, reações químicas, estados da matéria), biologia (por exemplo, células vegetais e animais, ecossistemas) e ciências da terra (por exemplo, clima, processos geológicos). As perguntas são projetadas para testar não apenas a recordação factual, mas também habilidades de raciocínio, como aplicar conceitos a novas situações, interpretar dados de gráficos e fazer inferências a partir de representações visuais.
Avaliação e Modelos de Base
O ScienceQA foi introduzido juntamente com um conjunto de experimentos de base usando vários modelos de aprendizado de máquina. Os autores avaliaram diversas abordagens, incluindo modelos tradicionais de visão-linguagem e arquiteturas mais recentes baseadas em transformadores. Uma das principais descobertas foi que muitos modelos existentes tiveram desempenho ruim no ScienceQA, com taxas de precisão frequentemente abaixo de 50% no conjunto de teste, destacando a dificuldade do benchmark. O modelo de base com melhor desempenho na época usava um transformador multimodal que combinava características de imagem com embeddings textuais, alcançando uma precisão de cerca de 89% no conjunto de teste, mas isso ainda estava abaixo do desempenho humano, estimado em mais de 90%.
Desde então, o benchmark se tornou uma ferramenta de avaliação padrão para pesquisas em raciocínio multimodal e perguntas e respostas. Tem sido usado para avaliar as capacidades de grandes modelos de linguagem e modelos de visão-linguagem, incluindo aqueles desenvolvidos por organizações como OpenAI e Google DeepMind. Por exemplo, modelos como GPT-4 e Gemini foram testados no ScienceQA, com alguns alcançando taxas de precisão acima de 90%, demonstrando progresso significativo no raciocínio de IA.
Papel na Pesquisa em IA
O ScienceQA desempenhou um papel crucial no avanço da pesquisa em várias áreas da inteligência artificial. Tem sido usado para estudar a eficácia do prompting de cadeia de pensamento, onde os modelos são incentivados a gerar etapas intermediárias de raciocínio antes de fornecer uma resposta. A pesquisa mostrou que tais técnicas de prompting podem melhorar o desempenho no ScienceQA, particularmente para grandes modelos de linguagem. O conjunto de dados também foi empregado para investigar a integração de informações visuais e textuais, levando ao desenvolvimento de novas arquiteturas que alinham melhor as representações de imagem e linguagem.
Além disso, o ScienceQA tem sido usado para explorar o conceito de explicabilidade em IA. Como cada pergunta inclui uma explicação escrita por humanos, os pesquisadores podem comparar explicações geradas por modelos com essas referências para avaliar quão bem os modelos justificam suas respostas. Isso tem implicações para a construção de sistemas de IA confiáveis, pois a capacidade de fornecer explicações coerentes é crucial para aplicações em educação e pesquisa científica.
Limitações e Direções Futuras
Apesar de seus pontos fortes, o ScienceQA tem certas limitações. As perguntas são baseadas em currículos de nível escolar, que podem não capturar a complexidade do raciocínio científico avançado. Além disso, o formato de múltipla escolha às vezes pode permitir que os modelos adivinhem corretamente sem compreensão profunda, embora as explicações ajudem a mitigar esse problema. O conjunto de dados também é estático, o que significa que não reflete descobertas científicas recentes ou mudanças nos currículos.
Trabalhos futuros podem envolver a expansão do ScienceQA para incluir perguntas mais abertas, cobrir tópicos de nível superior e incorporar elementos dinâmicos, como simulações interativas. Os pesquisadores também estão explorando maneiras de usar o ScienceQA como um benchmark para aprendizado contínuo, onde os modelos devem se adaptar a novos tipos de perguntas ao longo do tempo. À medida que os sistemas de IA continuam a melhorar, benchmarks como o ScienceQA permanecerão essenciais para medir o progresso e identificar áreas que exigem mais pesquisa.