HumanEval은 OpenAI가 2021년에 원래 GitHub Copilot을 구동한 모델인 Codex를 소개하는 논문과 함께 공개한 코드 생성 AI benchmark이다. 이 벤치마크는 164개의 손으로 작성된 Python 프로그래밍 문제로 구성되며, 각 문제에는 함수 시그니처, 작업을 설명하는 docstring, 그리고 생성된 솔루션의 정확성을 검사하는 데 사용되는 단위 테스트 세트가 포함된다.
설계
각 HumanEval 문제는 모델이 시그니처와 자연어 docstring만 주어졌을 때 Python 함수 본문을 완성하도록 요구하며, 이는 프로그래머가 작은 작업을 작성하기 전에 설명하는 방식과 유사하다. 정확성은 기능적으로 판단된다. 생성된 솔루션은 단일 참조 답변과 텍스트적으로 비교되는 것이 아니라 수반되는 단위 테스트를 충족하면 통과하며, 이는 동일한 함수를 구현하는 다양한 유효한 방법을 허용한다. 문제가 기존 코드 저장소에서 긁어온 것이 아니라 벤치마크를 위해 특별히 손으로 작성되었기 때문에, HumanEval은 모델의 학습 데이터에 솔루션이 그대로 이미 존재할 위험을 줄이도록 설계되었다.
pass@k 지표
HumanEval은 코드 생성 평가를 위한 pass@k 지표를 도입하거나 대중화했으며, 이는 모델이 주어진 문제에 대해 독립적으로 샘플링한 k개의 솔루션 중 적어도 하나가 모든 단위 테스트를 통과할 확률을 측정한다. Pass@1은 단일 시도 정확도를 근사하며, pass@100 이상의 값은 여러 샘플 내에서 올바른 솔루션이 어디에나 나타날 빈도를 추정하여, 여러 번 재시도를 허용하는 것과 같은 다양한 실제 사용 패턴에서 모델의 능력을 이해하는 데 유용하다.
채택과 발전
HumanEval은 빠르게 코딩 능력의 표준 참조점이 되었으며, OpenAI, Anthropic, Google DeepMind, 그리고 Meta AI의 Llama 제품군과 같은 오픈 모델 개발자들의 릴리스 발표에서 일반적인 평가 결과와 함께 보고되었다. 성능은 빠르게 향상되었다. 초기 Codex 모델은 pass@1에서 30% 미만의 문제를 해결했지만, 2023-2024년에는 선도 모델이 90%를 초과했으며, 이는 더 넓은 지식 영역에서 MMLU에서 관찰된 것과 유사한 포화 패턴이다.
한계와 후속 벤치마크
HumanEval의 문제는 비교적 짧고, 자족적이며, Python에 특화되어 있어, 강력한 성능이 반드시 모델이 대규모의 현실적인 코드베이스, 다중 파일 프로젝트 또는 다른 프로그래밍 언어를 처리할 수 있음을 나타내지는 않는다. 많은 초기 벤치마크와 마찬가지로, 문제와 커뮤니티에서 작성된 솔루션이 온라인에 널리 유포되어 이후 모델의 사전 학습 데이터에 나타날 가능성이 있기 때문에 데이터 오염이 점점 더 큰 우려가 되었다. 이러한 한계는 더 어렵고 현실적인 후속 벤치마크를 동기부여했으며, 가장 주목할 만한 것은 작업을 짧은 독립 함수 대신 실제 GitHub 이슈와 전체 코드베이스에 기반을 둔 SWE-bench와 원래 HumanEval 형식의 다중 언어 확장판들이다.
유산
나중 기준으로 좁은 범위에도 불구하고, HumanEval은 코드 생성을 모델 간에 측정 가능하고 비교 가능한 능력으로 확립하는 데 중요한 역할을 했으며, 참조 솔루션에 대한 텍스트 유사성이 아닌 기능적이고 테스트 기반의 평가 접근 방식은 업계 전반의 후속 코딩 벤치마크 설계에 영향을 미쳤다.