BIG-bench 2023 é a edição revisada do benchmark Beyond the Imitation Game, um esforço colaborativo iniciado em 2021 para avaliar as capacidades e limitações de modelos de linguagem de grande escala. O BIG-bench original compreendia 204 tarefas contribuídas por mais de 450 pesquisadores de 130 instituições, projetadas para sondar habilidades que benchmarks padrão frequentemente deixam de lado, como raciocínio causal, conhecimento de senso comum e resolução de problemas matemáticos. A atualização de 2023, lançada no início de 2023, baseia-se nessa fundação adicionando novas tarefas, refinando métricas de avaliação e expandindo o rol de modelos testados, com foco particular no cenário em rápida evolução dos sistemas de IA generativa.
O propósito principal do benchmark é fornecer uma medida rigorosa e padronizada para medir o progresso em inteligência artificial, especialmente para modelos de linguagem de grande escala. Diferentemente de benchmarks anteriores, que se concentravam em tarefas restritas como resposta a perguntas ou análise de sentimentos, o BIG-bench 2023 inclui tarefas que exigem raciocínio de múltiplas etapas, conhecimento de mundo e até escrita criativa. Ele também enfatiza a medição da calibração do modelo (o quanto a confiança corresponde à precisão) e a robustez a entradas adversariais. A versão de 2023 introduziu um subconjunto de tarefas designadas como "BIG-bench Hard" (BBH), que são 23 tarefas em que modelos anteriores tiveram desempenho igual ou inferior ao nível de avaliadores humanos médios, servindo como um desafio árduo para o desenvolvimento futuro.
Estrutura e Categorias de Tarefas
O BIG-bench 2023 organiza suas tarefas em várias categorias amplas, cada uma visando um aspecto diferente de competência do modelo. Estas incluem:
- Raciocínio: Tarefas envolvendo dedução lógica, inferência causal e aritmética de múltiplas etapas. Exemplos incluem "causal_judgement" e "logical_deduction" (com três a cinco objetos).
- Conhecimento: Perguntas que sondam conhecimento factual de mundo, como "periodic_elements" ou "international_phonetic_alphabet_transliterate".
- Viés social e justiça: Tarefas como "bbq_lite" e "gender_bias" que avaliam se modelos exibem estereótipos prejudiciais.
- Compreensão de linguagem: Tarefas sobre semântica, sintaxe e pragmática, como "linguistics_puzzles" e "novel_concepts".
- Matemática: Problemas que exigem manipulação simbólica e aritmética, incluindo "mathematical_induction" e "number_sequence".
- Senso comum: Tarefas como "physical_intuition" e "social_support" que testam raciocínio cotidiano.
Cada tarefa inclui um prompt, um conjunto de respostas possíveis e uma métrica de pontuação (tipicamente correspondência exata ou precisão de múltipla escolha). A atualização de 2023 adicionou várias novas tarefas em áreas como geração de código e compreensão multilíngue, refletindo a importância crescente dessas habilidades em aplicações do mundo real.
Metodologia de Avaliação e Métricas
O BIG-bench 2023 usa um protocolo de avaliação padronizado para garantir comparabilidade entre modelos. Os modelos são estimulados com a entrada de cada tarefa, e suas saídas são pontuadas usando métricas específicas da tarefa. A métrica agregada principal é a precisão normalizada média em todas as tarefas, em que a pontuação de cada tarefa é normalizada para que a adivinhação aleatória produza 0 e o desempenho perfeito produza 1. Isso permite um único número que resume a capacidade geral.
A versão de 2023 também introduziu avaliações "direcionadas", em que modelos são testados em subconjuntos de tarefas particularmente difíceis ou relevantes para capacidades específicas. Por exemplo, o subconjunto BBH é usado para acompanhar o progresso em tarefas anteriormente não resolvidas. Além disso, o benchmark inclui configurações de "poucos exemplos" (tipicamente 0-exemplo, 1-exemplo e 5-exemplos) para medir a capacidade de aprendizado em contexto, e relata o erro de calibração, que indica o quão bem as probabilidades previstas de um modelo se alinham com a correção real.
Cobertura de Modelos e Resultados
O BIG-bench 2023 inclui resultados de uma ampla gama de modelos, desde esforços de código aberto como os do Google DeepMind (Google DeepMind) e Anthropic (Anthropic) até sistemas proprietários do OpenAI (OpenAI) e outros. O benchmark tem sido usado para avaliar modelos de tamanhos variados, desde pequenos transformadores com milhões de parâmetros até modelos de linguagem de grande escala com centenas de bilhões. Descobertas notáveis incluem que o desempenho geralmente melhora com a escala do modelo, mas algumas tarefas permanecem desafiadoras mesmo para os maiores modelos, como aquelas que exigem raciocínio lógico profundo ou conhecimento factual raro.
Por exemplo, no subconjunto BBH, muitos modelos em 2023 ainda pontuavam abaixo de 50% de precisão normalizada, indicando espaço significativo para melhoria. O benchmark também destacou que modelos frequentemente exibem excesso de confiança, com erros de calibração sendo maiores em tarefas mais difíceis. Esses resultados informaram pesquisas em técnicas como Reinforcement Learning from AI Feedback (RLAIF) (aprendizado por reforço a partir de feedback de IA) e melhor curadoria de dados de treinamento.
Impacto e Recepção
A atualização de 2023 foi amplamente adotada pela comunidade de pesquisa em IA como um conjunto de avaliação padrão. Foi citada em centenas de artigos e usada por grandes laboratórios para comparar seus modelos. A natureza colaborativa do BIG-bench, com contribuições de instituições como MIT CSAIL (MIT CSAIL), Stanford AI Lab (Laboratório de IA de Stanford) e BAIR (Berkeley AI Research) (Pesquisa de IA de Berkeley), fomentou uma cultura de benchmarking aberto. Críticos notaram que as tarefas do benchmark são estáticas e podem se saturar ao longo do tempo, mas a inclusão de novas tarefas na versão de 2023 e o subconjunto BBH mitigam essa preocupação.
O BIG-bench 2023 também influenciou o desenvolvimento de benchmarks similares, como HELM e MMLU, e tem sido usado para estudar habilidades emergentes em modelos de linguagem de grande escala. Seus resultados foram instrumentais para entender as capacidades e limitações de sistemas como GPT-4 (GPT-4) e Claude (AI model family) (Claude), e ele continua servindo como ponto de referência para medir o progresso em inteligência artificial.
Direções Futuras
A partir de 2023, a equipe do BIG-bench anunciou planos para atualizações adicionais, incluindo geração dinâmica de tarefas e formatos de avaliação mais interativos. O objetivo é manter o benchmark relevante à medida que os modelos evoluem, potencialmente incorporando tarefas que exijam uso de ferramentas ou diálogo de múltiplas voltas. A versão de 2023 permanece um retrato das capacidades de IA naquele momento, mas sua metodologia e insights provavelmente influenciarão esforços de benchmarking futuros por anos vindouros.