A avaliação de LLMs, comumente chamada de evals, refere-se aos métodos e à infraestrutura usados para medir a capacidade, a qualidade, a confiabilidade e a segurança dos grandes modelos de linguagem. Como os LLMs têm sido aplicados a uma gama cada vez mais ampla de tarefas, a avaliação cresceu de um exercício acadêmico restrito para uma disciplina prática importante dentro dos laboratórios de IA, já que os evals determinam o que é relatado publicamente, o que orienta a seleção de modelos pelos desenvolvedores e, cada vez mais, o que retroalimenta o próprio treinamento.
Suítes de benchmarks estáticos
A forma mais tradicional de avaliação executa um modelo contra um conjunto de dados de benchmark fixo com respostas corretas conhecidas, como MMLU para conhecimento, HumanEval ou SWE-bench para codificação e ARC-AGI para raciocínio abstrato. Essas suítes são baratas de executar repetidamente e permitem comparação numérica direta, mas sofrem de saturação de benchmarks e contaminação por dados de treinamento, à medida que os modelos são treinados em raspagens web cada vez maiores que podem se sobrepor aos conjuntos de teste.
Arenas de preferência humana
Como muitas qualidades valiosas dos LLMs, como utilidade, qualidade de escrita ou tom, resistem a uma pontuação simples de correção, plataformas como LMArena, anteriormente Chatbot Arena, coletam grandes volumes de comparações humanas cegas, frente a frente, entre saídas de modelos e calculam uma classificação no estilo Elo. Essa abordagem captura bem a preferência humana agregada, mas tem sido criticada por recompensar traços estilísticos, como verbosidade ou complacência, que não necessariamente acompanham capacidade ou correção mais profundas, e por ser possível de manipular ajustando um modelo especificamente para a distribuição de usuários da plataforma.
LLM-como-juiz
Uma abordagem mais recente usa um LLM para avaliar as saídas de outro, pontuando respostas quanto à correção, utilidade ou adesão a uma rubrica, já que a avaliação humana é lenta e cara em escala. Métodos de LLM-como-juiz podem aproximar razoavelmente bem o julgamento humano em muitas tarefas e permitem que a avaliação escale para muito mais exemplos do que avaliadores humanos poderiam cobrir, mas herdam os vieses e pontos cegos de seu próprio modelo, incluindo uma tendência a favorecer respostas mais longas ou formuladas com mais confiança, e podem ser explorados se um modelo avaliado aprender a produzir saídas que manipulam o juiz em vez de melhorar genuinamente.
Evals específicos de domínio e de segurança
Além da capacidade geral, a avaliação cobre cada vez mais propriedades mais restritas: taxas de alucinação em perguntas factuais, suscetibilidade a jailbreaks e injeção de prompt, viés entre grupos demográficos e avaliações de capacidades perigosas relevantes para a segurança da IA, como se um modelo pode ajudar de forma significativa em ataques cibernéticos ou na síntese de armas biológicas. Laboratórios como Anthropic e OpenAI executam tais avaliações como parte de testes pré-implantação ligados aos seus compromissos de escalonamento responsável, e órgãos terceirizados, incluindo institutos governamentais de segurança de IA formados após a Declaração de Bletchley, conduzem avaliações independentes de lançamentos de modelos de fronteira.
Desafios
A avaliação enfrenta dificuldades persistentes: benchmarks e arenas podem ser manipulados uma vez que um laboratório sabe o que está sendo medido, uma versão da lei de Goodhart aplicada ao desenvolvimento de modelos; a contaminação prejudica a validade das pontuações estáticas; e nenhum número único captura as muitas qualidades, às vezes conflitantes, que os usuários valorizam, como utilidade, honestidade e ausência de dano. Isso tem empurrado o campo para portfólios de avaliação que combinam múltiplos métodos, "benchmarks vivos" contínuos que atualizam suas perguntas e maior ênfase em avaliações do mundo real, baseadas em tarefas e agênticas que refletem melhor o uso implantado do que o questionário isolado.
Significância
Como os evals moldam quais modelos são percebidos como os melhores e, cada vez mais, alimentam diretamente o treinamento por meio de técnicas como RLHF e modelagem de recompensa, o design da metodologia de avaliação tornou-se um motor significativo, embora menos visível, de como os principais modelos do campo realmente se comportam.