HumanEval é um benchmark de geração de código lançado pela OpenAI em 2021, juntamente com o artigo que introduziu o Codex, o modelo que alimentou o GitHub Copilot original. Ele consiste em 164 problemas de programação em Python escritos à mão, cada um incluindo uma assinatura de função, um docstring descrevendo a tarefa e um conjunto de testes unitários usados para verificar a correção de uma solução gerada.
Design
Cada problema do HumanEval pede que um modelo complete o corpo de uma função Python, dado apenas sua assinatura e um docstring em linguagem natural, de forma semelhante a como um programador poderia descrever uma pequena tarefa antes de escrevê-la. A correção é julgada funcionalmente: uma solução gerada passa se satisfizer os testes unitários acompanhantes, em vez de ser comparada textualmente a uma única resposta de referência, o que permite as muitas maneiras válidas diferentes de implementar a mesma função. Como os problemas foram escritos à mão especificamente para o benchmark, em vez de extraídos de repositórios de código existentes, o HumanEval foi projetado para reduzir o risco de que soluções já existissem verbatim nos dados de treinamento de um modelo.
A métrica pass@k
O HumanEval introduziu ou popularizou a métrica pass@k para avaliar a geração de código, que mede a probabilidade de que pelo menos uma de k soluções amostradas independentemente de um modelo passe em todos os testes unitários para um determinado problema. O pass@1 aproxima a precisão de tentativa única, enquanto valores de pass@100 ou superiores estimam com que frequência uma solução correta aparece em algum lugar dentro de muitas amostras, útil para entender a capacidade de um modelo sob diferentes padrões de uso no mundo real, como permitir várias tentativas.
Adoção e progresso
O HumanEval rapidamente se tornou um ponto de referência padrão para capacidade de codificação, relatado juntamente com resultados gerais de avaliação em anúncios de lançamento da OpenAI, Anthropic, Google DeepMind e desenvolvedores de modelos abertos, como a Meta AI com sua família Llama. O desempenho subiu rapidamente: os primeiros modelos Codex resolveram menos de 30% dos problemas em pass@1, enquanto em 2023-2024 os principais modelos excederam 90%, um padrão de saturação semelhante ao observado com MMLU no domínio mais amplo do conhecimento.
Limitações e sucessores
Os problemas do HumanEval são relativamente curtos, autocontidos e específicos de Python, o que significa que um desempenho forte não indica necessariamente que um modelo pode lidar com grandes codebases realistas, projetos de múltiplos arquivos ou outras linguagens de programação. Como com muitos benchmarks iniciais, a contaminação de dados tornou-se uma preocupação crescente, já que os problemas e soluções escritas pela comunidade circularam amplamente online e poderiam plausivelmente aparecer nos dados de pré-treinamento de modelos posteriores. Essas limitações motivaram sucessores mais difíceis e realistas, mais notavelmente o SWE-bench, que fundamenta tarefas em problemas reais do GitHub e codebases completos, em vez de funções curtas e isoladas, e outras extensões multilíngues do formato original do HumanEval.
Legado
Apesar de seu escopo estreito pelos padrões posteriores, o HumanEval desempenhou um papel importante em estabelecer a geração de código como uma capacidade mensurável e comparável entre modelos, e sua abordagem de avaliação funcional baseada em testes, em vez de similaridade textual a uma solução de referência, influenciou o design de benchmarks de codificação subsequentes em toda a indústria.