pass@k
pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.
Auch: pass@1, pass@10, pass@100
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Code lässt sich prüfen, indem man ihn ausführt. Statt den Code eines Modells mit einer Referenzantwort zu vergleichen, führen Coding-Benchmarks wie HumanEval deshalb Unit-Tests aus und zählen ein Problem als gelöst, wenn der Code besteht. pass@k fragt: Wenn das Modell k Versuche bekommt, wie wahrscheinlich ist es, dass mindestens einer funktioniert?
Wie es berechnet wird
Die Metrik nutzten Kulal und Kollegen 2019, zum Standard wurde sie durch das Codex-Paper von OpenAI von 2021. Genau k Samples zu ziehen und zu prüfen ergibt eine verrauschte Zahl. Das Paper erzeugt daher n Samples pro Problem (es nutzte n = 200), zählt die c, die bestehen, und berechnet aus n, c und k einen erwartungstreuen Schätzer für pass@k. Das Paper liefert dafür eine kurze numpy-Funktion mit.
Die Zahlen lesen
pass@1 entspricht dem, wie die meisten einen Coding-Assistenten nutzen: eine Antwort, annehmen oder verwerfen. pass@10 oder pass@100 zeigt, was ein Modell mit Wiederholungen und einer Testsuite schafft, die den Gewinner auswählt. Codex löste 28,8% der HumanEval-Probleme bei pass@1 und 70,2% mit 100 Samples, was zeigt, wie stark sich die Zahl mit k verschiebt. Vergleiche Modelle nur beim selben k, derselben Sampling-Temperature und demselben Prompt.
pass@k versus pass^k
τ-bench nutzt eine verwandte Metrik namens pass^k, die fragt, ob ein Agent bei allen k Durchläufen derselben Aufgabe erfolgreich ist. pass@k belohnt einen einzelnen Glückstreffer; pass^k belohnt Beständigkeit. Für Agenten, die unbeaufsichtigt laufen, ist pass^k oft die aussagekräftigere Zahl. Wie sich diese in einen breiteren Testplan einfügen, erklärt LLM-Evaluation.
Verwandte Begriffe
- HumanEval
- HumanEval ist ein Benchmark für Codegenerierung, den OpenAI 2021 veröffentlicht hat: 164 von Hand geschriebene Python-Aufgaben, jede mit Funktionssignatur, Docstring und Unit-Tests, mit denen geprüft wird, ob ein Modell Code schreibt, der tatsächlich funktioniert.
- SWE-bench
- SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- τ-bench
- τ-bench (tau-bench) ist ein Benchmark, der KI-Agenten in simulierten Kundenservice-Gesprächen testet: Ein Sprachmodell spielt den Nutzer, und der Agent muss domänenspezifische API-Tools nutzen und dabei schriftliche Richtlinien einhalten.