Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

HumanEval

HumanEval ist ein Benchmark für Codegenerierung, den OpenAI 2021 veröffentlicht hat: 164 von Hand geschriebene Python-Aufgaben, jede mit Funktionssignatur, Docstring und Unit-Tests, mit denen geprüft wird, ob ein Modell Code schreibt, der tatsächlich funktioniert.

Auch: OpenAI HumanEval

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

HumanEval erschien zusammen mit dem Codex-Paper; eine Produktionsversion von Codex trieb GitHub Copilot an. Jede Aufgabe gibt dem Modell eine Python-Funktionssignatur und einen Docstring, der beschreibt, was die Funktion tun soll. Das Modell schreibt den Rumpf, und der Benchmark führt Unit-Tests darauf aus. Gemessen wird funktionale Korrektheit: Der Code besteht die Tests oder nicht, unabhängig davon, wie er aussieht.

Wie bewertet wird

Ergebnisse werden mit pass@k angegeben, meist pass@1. Bei der Veröffentlichung löste Codex 28,8% der Aufgaben im ersten Versuch, GPT-3 keine. Die Aufgaben wurden von Hand geschrieben, damit sie nicht schon in dem Code steckten, auf dem Modelle trainiert wurden.

Grenzen

HumanEval-Aufgaben sind kurze, in sich geschlossene Funktionen, eher Fragen aus Vorstellungsgesprächen als echte Softwarearbeit. Ein hohes Ergebnis sagt wenig darüber, einen Fehler in einer großen Codebasis zu beheben, Befehle auszuführen oder über viele Dateien hinweg zu arbeiten. Das versuchen SWE-bench und Terminal-Bench zu messen. Da die Aufgaben seit 2021 öffentlich sind, können sie auch in neuere Trainingsdaten gelangt sein, ein Problem, das als Benchmark-Kontamination bekannt ist. Betrachte ein HumanEval-Ergebnis als Mindestmaß für Coding-Fähigkeiten, und teste einen Coding-Agenten mit deinen eigenen Aufgaben, bevor du dich für einen entscheidest.

Verwandte Begriffe

pass@k
pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.
SWE-bench
SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Coding-Agent
Ein Coding-Agent ist ein KI-Agent, der direkt an Software arbeitet: Er liest eine Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und wiederholt das, bis eine Änderung funktioniert, statt nur Code vorzuschlagen, den ein Mensch einfügt.

Quellen