Quatro regras de ferro para construir evals reais

1. Não construa seu banco de questões com base nas fraquezas do modelo atual: as capacidades dos modelos são desiguais. Se você escolher especificamente perguntas que o modelo erra hoje, você está medindo as falhas específicas desta versão, não a dificuldade da tarefa. Quando a próxima geração de modelos for lançada, seu banco de questões se torna inútil. 2. Mesmo o modelo mais forte, com raciocínio máximo, deve pontuar muito abaixo de 100: se o seu conjunto de testes permite que o modelo mais forte obtenha nota máxima facilmente, as questões são fáceis demais e você não consegue distinguir se mudanças posteriores melhoraram ou pioraram as coisas. 3. Prefira programas como avaliadores, depois LLMs: qualquer coisa que possa ser verificada com código (testes de unidade, validação de JSON Schema) não deve usar um avaliador LLM. Quando um avaliador LLM for necessário, não use pontuações vagas de 1 a 5; escreva listas de verificação verificáveis ou faça comparação cega A/B. 4. É preciso distinguir melhoria real de ruído aleatório: se as pontuações variam a cada execução, as questões são ambíguas ou o ambiente deixou arquivos residuais que permitem que a IA trapaceie.