Um benchmark de IA é um conjunto de dados, tarefa ou suíte de tarefas padronizado, usado para medir e comparar o desempenho de sistemas de IA, fornecendo uma métrica comum que permite a pesquisadores e ao público comparar modelos entre laboratórios e ao longo do tempo. Benchmarks desempenham um papel central no progresso da IA desde pelo menos a competição ImageNet, que ajudou a catalisar a era do aprendizado profundo, e continuam sendo a principal ferramenta usada na avaliação de LLMs atualmente.
Tipos de benchmarks
Os benchmarks variam amplamente de acordo com o que medem. Benchmarks de conhecimento e raciocínio, como o MMLU, testam a capacidade factual e de raciocínio ampla em disciplinas acadêmicas. Benchmarks de codificação, como HumanEval e SWE-bench, medem a capacidade de um modelo de escrever ou corrigir código. Benchmarks de raciocínio abstrato, como o ARC-AGI, visam resistir à memorização ao testar a resolução de quebra-cabeças novos, em vez de recuperação de informações. Benchmarks multimodais testam a compreensão de imagens ou vídeos, e benchmarks de segurança investigam saídas prejudiciais, suscetibilidade a jailbreak ou viés. Além de conjuntos de dados estáticos, plataformas de preferência humana, como a LMArena, classificam modelos por meio de comparações pareadas crowdsourced, em vez de conjuntos de testes fixos.
Saturação
Um padrão recorrente é a saturação de benchmarks: conforme os modelos melhoram, o desempenho em um determinado benchmark sobe em direção ao teto, muitas vezes excedendo o desempenho humano bem calibrado, ponto em que o benchmark deixa de diferenciar utilmente entre modelos. O MMLU, introduzido em 2020, viu os principais modelos excederem 90% de precisão em poucos anos, levando à criação de sucessores mais difíceis. Esse ciclo - um benchmark sendo introduzido, adotado amplamente, saturado e depois substituído - se repetiu em quase todas as principais áreas de capacidade, e é uma das razões pelas quais as suítes de benchmarks são frequentemente atualizadas ou complementadas com variantes mais difíceis.
Contaminação
Um problema relacionado e sério é a contaminação de dados: como os grandes modelos de linguagem são treinados em vastas coletas da internet, incluindo o Common Crawl, perguntas e respostas de benchmarks podem vazar para os dados de treinamento, seja diretamente ou por meio de discussões sobre o benchmark online, inflando o desempenho medido de um modelo sem refletir capacidade genuína. Detectar contaminação é difícil, e alguns benchmarks, incluindo o ARC-AGI, foram projetados especificamente com geração de problemas novos para resistir a ela. As preocupações com contaminação deixaram alguns no campo céticos em relação a pontuações de benchmarks autorrelatadas por laboratórios sem verificação independente.
Outras críticas
Benchmarks também podem ser manipulados ou otimizados diretamente, uma forma de hacking de recompensa no processo de desenvolvimento mais amplo, em que um laboratório ajusta um modelo para ter bom desempenho em benchmarks populares sem ganhos proporcionais em utilidade no mundo real. Benchmarks estáticos também podem falhar em capturar capacidades agênticas, de múltiplas etapas ou de horizonte longo relevantes para o uso real, motivando uma mudança em direção a avaliações mais dinâmicas e baseadas em tarefas, incluindo o uso de problemas reais do GitHub pelo SWE-bench, e em direção a modelos de raciocínio que dependem de computação em tempo de teste avaliados em conjuntos de problemas mais difíceis e reservados.
Papel no campo
Apesar de suas limitações, os benchmarks continuam centrais para como o progresso da IA é relatado, comercializado e debatido, aparecendo em quase todos os anúncios de lançamento de modelos e em discussões políticas sobre limiares de capacidade. Suas limitações impulsionaram um interesse crescente em métodos de avaliação complementares, incluindo plataformas de preferência humana, abordagens de LLM-como-juiz e avaliações mais restritas e curadas por especialistas, menos suscetíveis a contaminação e saturação.