HumanEval ist ein Code-Generierungs-Benchmark, der 2021 von OpenAI zusammen mit dem Paper veröffentlicht wurde, das Codex vorstellte, das Modell, das den ursprünglichen GitHub Copilot antrieb. Er besteht aus 164 handgeschriebenen Python-Programmieraufgaben, die jeweils eine Funktionssignatur, einen Docstring, der die Aufgabe beschreibt, und eine Reihe von Unit-Tests enthalten, die zur Überprüfung der Korrektheit einer generierten Lösung verwendet werden.
Design
Jede HumanEval-Aufgabe fordert ein Modell auf, einen Python-Funktionskörper zu vervollständigen, wobei nur die Signatur und ein natürlichsprachlicher Docstring gegeben sind, ähnlich wie ein Programmierer eine kleine Aufgabe beschreiben könnte, bevor er sie schreibt. Die Korrektheit wird funktional bewertet: Eine generierte Lösung besteht, wenn sie die begleitenden Unit-Tests erfüllt, anstatt textuell mit einer einzelnen Referenzantwort verglichen zu werden, was die vielen verschiedenen gültigen Wege zur Implementierung derselben Funktion ermöglicht. Da die Probleme speziell für den Benchmark von Hand geschrieben und nicht aus bestehenden Code-Repositories gesammelt wurden, wurde HumanEval entwickelt, um das Risiko zu verringern, dass Lösungen bereits wörtlich in den Trainingsdaten eines Modells vorhanden waren.
Die pass@k-Metrik
HumanEval führte die pass@k-Metrik zur Bewertung der Codegenerierung ein oder popularisierte sie, die die Wahrscheinlichkeit misst, dass mindestens eine von k unabhängig gesampelten Lösungen eines Modells alle Unit-Tests für ein bestimmtes Problem besteht. Pass@1 approximiert die Genauigkeit bei einem einzigen Versuch, während pass@100 oder höhere Werte schätzen, wie oft eine korrekte Lösung irgendwo in vielen Samples auftaucht, was nützlich ist, um die Fähigkeit eines Modells unter verschiedenen realen Nutzungsmustern zu verstehen, wie z. B. das Erlauben mehrerer Wiederholungen.
Verbreitung und Fortschritt
HumanEval wurde schnell zu einem Standardreferenzpunkt für Programmierfähigkeiten, der zusammen mit allgemeinen Evaluations-Ergebnissen in Release-Ankündigungen von OpenAI, Anthropic, Google DeepMind und Open-Model-Entwicklern wie Meta AI mit seiner Llama-Familie berichtet wurde. Die Leistung stieg schnell: Frühe Codex-Modelle lösten unter 30% der Probleme bei pass@1, während führende Modelle bis 2023-2024 über 90% erreichten, ein Sättigungsmuster, das dem bei MMLU im breiteren Wissensbereich ähnelt.
Einschränkungen und Nachfolger
HumanEvals Probleme sind relativ kurz, in sich geschlossen und Python-spezifisch, was bedeutet, dass eine starke Leistung nicht unbedingt darauf hindeutet, dass ein Modell große, realistische Codebasen, Multi-Datei-Projekte oder andere Programmiersprachen bewältigen kann. Wie bei vielen frühen Benchmarks wurde Datenkontamination zu einem wachsenden Problem, da die Probleme und von der Community geschriebenen Lösungen online weit verbreitet waren und plausibel in den Pretraining-Daten späterer Modelle auftauchen konnten. Diese Einschränkungen motivierten härtere und realistischere Nachfolger, insbesondere SWE-bench, das Aufgaben in echten GitHub-Issues und vollständigen Codebasen verankert, anstatt in kurzen isolierten Funktionen, sowie andere mehrsprachige Erweiterungen des ursprünglichen HumanEval-Formats.
Vermächtnis
Trotz seines engen Umfangs nach späteren Standards spielte HumanEval eine wichtige Rolle bei der Etablierung der Codegenerierung als messbare, vergleichbare Fähigkeit über Modelle hinweg, und sein funktionaler, testbasierter Bewertungsansatz, anstatt textueller Ähnlichkeit zu einer Referenzlösung, beeinflusste das Design nachfolgender Coding-Benchmarks in der gesamten Branche.