BIG-Bench Hard (BBH) é um subconjunto selecionado de 23 tarefas do benchmark maior BIG-Bench, introduzido em 2022 por pesquisadores do Google e de outras instituições. O subconjunto foi criado para focar em tarefas particularmente desafiadoras para grandes modelos de linguagem, especificamente aquelas em que modelos com menos de 12 bilhões de parâmetros apresentam desempenho ruim. O BBH é projetado para medir a capacidade de um modelo de lidar com raciocínio complexo, resolução de problemas em múltiplas etapas e tarefas que exigem compreensão mais profunda além do simples reconhecimento de padrões.
O benchmark surgiu do esforço mais amplo do BIG-Bench, que incluiu mais de 200 tarefas contribuídas por mais de 450 pesquisadores de 130 instituições. O processo de seleção do BBH envolveu a identificação de tarefas em que a diferença de desempenho entre modelos pequenos e grandes era significativa e em que avaliadores humanos classificaram as tarefas como exigindo raciocínio substancial. O conjunto final de 23 tarefas inclui problemas em áreas como expressões booleanas, julgamento causal, compreensão de datas, desambiguação e formas geométricas, entre outros.
Seleção de Tarefas e Características
As 23 tarefas do BBH foram escolhidas com base em dois critérios principais: elas precisavam ser tarefas em que os melhores modelos disponíveis na época pontuassem abaixo de um certo limite (especificamente, abaixo do desempenho médio dos avaliadores humanos) e precisavam ser tarefas que não fossem facilmente resolvíveis por heurísticas simples. Esse processo de seleção resultou em um benchmark notavelmente mais difícil do que o conjunto completo do BIG-Bench, com o desempenho médio dos modelos caindo significativamente quando avaliados apenas no BBH.
Cada tarefa no BBH é projetada para testar uma habilidade cognitiva específica. Por exemplo, a tarefa de 'expressões booleanas' exige avaliar declarações lógicas complexas, enquanto 'julgamento causal' pede que os modelos determinem relações de causa e efeito em cenários hipotéticos. Outras tarefas incluem 'hyperbaton' (identificar frases gramaticalmente corretas), 'dedução lógica' (resolver quebra-cabeças de lógica em múltiplas etapas) e 'ordenação de palavras' (organizar palavras em ordem alfabética sob restrições).
Metodologia de Avaliação
O BBH é tipicamente avaliado usando uma abordagem de prompting com poucos exemplos, em que os modelos recebem um pequeno número de exemplos (geralmente de três a cinco) antes de serem solicitados a resolver novos problemas. O benchmark inclui um conjunto específico de prompts e scripts de avaliação que padronizam o processo de teste. No artigo original, os autores avaliaram vários grandes modelos de linguagem, incluindo os do Google e da OpenAI, e descobriram que até os maiores modelos tiveram dificuldades com muitas das tarefas.
Uma descoberta notável foi que o uso de prompting de cadeia de pensamento, em que o modelo é incentivado a mostrar suas etapas de raciocínio, melhorou significativamente o desempenho nas tarefas do BBH. Essa técnica, desenvolvida simultaneamente ao BBH, permitiu que os modelos decompusessem problemas complexos em etapas menores e mais gerenciáveis. A combinação do BBH com o prompting de cadeia de pensamento tornou-se um método padrão de avaliação para medir capacidades de raciocínio em modelos posteriores.
Impacto e Uso
O BBH tornou-se um benchmark amplamente utilizado na comunidade de pesquisa de grandes modelos de linguagem. Ele é frequentemente citado em artigos que introduzem novos modelos ou técnicas de treinamento, servindo como uma medida das habilidades de raciocínio de um modelo além da simples compreensão de linguagem. O benchmark tem sido particularmente útil para acompanhar o progresso no desenvolvimento de modelos, pois melhorias nas pontuações do BBH frequentemente correlacionam-se com melhorias em outras tarefas que exigem raciocínio.
Várias grandes organizações de pesquisa em IA, incluindo OpenAI e Google DeepMind, usaram o BBH como parte de seus conjuntos de avaliação internos. O benchmark também foi incorporado a estruturas de avaliação mais amplas, como o projeto HELM (Avaliação Holística de Modelos de Linguagem), que agrega múltiplos benchmarks para fornecer uma visão abrangente das capacidades dos modelos. Em 2025, o BBH continua sendo um ponto de referência padrão para comparar o desempenho de raciocínio entre diferentes arquiteturas e tamanhos de modelos.
Limitações e Críticas
Apesar de sua popularidade, o BBH enfrentou algumas críticas. Alguns pesquisadores argumentam que o benchmark pode não capturar totalmente o raciocínio do mundo real, pois as tarefas são frequentemente abstratas e desconectadas de aplicações práticas. Outros notaram que os modelos às vezes podem 'burlar' o benchmark memorizando padrões dos dados de treinamento, embora os autores do BBH tenham tomado medidas para minimizar isso usando tarefas que não estavam amplamente disponíveis online.
Além disso, o foco do benchmark em tarefas em inglês limita sua aplicabilidade a modelos multilíngues. Embora o BIG-Bench original incluísse algumas tarefas multilíngues, o BBH é exclusivamente em inglês, o que pode desfavorecer modelos treinados principalmente em outros idiomas. Apesar dessas limitações, o BBH continua sendo uma ferramenta valiosa para entender as capacidades e limitações dos sistemas de IA atuais.
Benchmarks Relacionados e Direções Futuras
O desenvolvimento do BBH inspirou esforços semelhantes, como o benchmark MMLU (Compreensão de Linguagem Multitarefa em Massa) e o ARC (Desafio de Raciocínio da AI2). Esses benchmarks, juntamente com o BBH, formam um conjunto de testes que avaliam coletivamente o conhecimento, o raciocínio e as habilidades de resolução de problemas de um modelo. À medida que os modelos continuam a melhorar, há trabalho contínuo para criar benchmarks ainda mais desafiadores que possam diferenciar entre os sistemas de melhor desempenho.
Iterações futuras do BBH podem incorporar tarefas mais dinâmicas, em que os problemas são gerados em tempo real para prevenir a memorização. Há também interesse em expandir o BBH para cobrir raciocínio multimodal, em que os modelos devem integrar informações de texto, imagens e outros tipos de dados. Esses desenvolvimentos provavelmente manterão o BBH relevante à medida que o campo da inteligência artificial continua a evoluir.