HumanEval
HumanEval ist ein Benchmark für Codegenerierung, den OpenAI 2021 veröffentlicht hat: 164 von Hand geschriebene Python-Aufgaben, jede mit Funktionssignatur, Docstring und Unit-Tests, mit denen geprüft wird, ob ein Modell Code schreibt, der tatsächlich funktioniert.
Auch: OpenAI HumanEval
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
HumanEval erschien zusammen mit dem Codex-Paper; eine Produktionsversion von Codex trieb GitHub Copilot an. Jede Aufgabe gibt dem Modell eine Python-Funktionssignatur und einen Docstring, der beschreibt, was die Funktion tun soll. Das Modell schreibt den Rumpf, und der Benchmark führt Unit-Tests darauf aus. Gemessen wird funktionale Korrektheit: Der Code besteht die Tests oder nicht, unabhängig davon, wie er aussieht.
Wie bewertet wird
Ergebnisse werden mit pass@k angegeben, meist pass@1. Bei der Veröffentlichung löste Codex 28,8% der Aufgaben im ersten Versuch, GPT-3 keine. Die Aufgaben wurden von Hand geschrieben, damit sie nicht schon in dem Code steckten, auf dem Modelle trainiert wurden.
Grenzen
HumanEval-Aufgaben sind kurze, in sich geschlossene Funktionen, eher Fragen aus Vorstellungsgesprächen als echte Softwarearbeit. Ein hohes Ergebnis sagt wenig darüber, einen Fehler in einer großen Codebasis zu beheben, Befehle auszuführen oder über viele Dateien hinweg zu arbeiten. Das versuchen SWE-bench und Terminal-Bench zu messen. Da die Aufgaben seit 2021 öffentlich sind, können sie auch in neuere Trainingsdaten gelangt sein, ein Problem, das als Benchmark-Kontamination bekannt ist. Betrachte ein HumanEval-Ergebnis als Mindestmaß für Coding-Fähigkeiten, und teste einen Coding-Agenten mit deinen eigenen Aufgaben, bevor du dich für einen entscheidest.
Verwandte Begriffe
- pass@k
- pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.
- SWE-bench
- SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Coding-Agent
- Ein Coding-Agent ist ein KI-Agent, der direkt an Software arbeitet: Er liest eine Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und wiederholt das, bis eine Änderung funktioniert, statt nur Code vorzuschlagen, den ein Mensch einfügt.