Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

pass@k

pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.

Auch: pass@1, pass@10, pass@100

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Code lässt sich prüfen, indem man ihn ausführt. Statt den Code eines Modells mit einer Referenzantwort zu vergleichen, führen Coding-Benchmarks wie HumanEval deshalb Unit-Tests aus und zählen ein Problem als gelöst, wenn der Code besteht. pass@k fragt: Wenn das Modell k Versuche bekommt, wie wahrscheinlich ist es, dass mindestens einer funktioniert?

Wie es berechnet wird

Die Metrik nutzten Kulal und Kollegen 2019, zum Standard wurde sie durch das Codex-Paper von OpenAI von 2021. Genau k Samples zu ziehen und zu prüfen ergibt eine verrauschte Zahl. Das Paper erzeugt daher n Samples pro Problem (es nutzte n = 200), zählt die c, die bestehen, und berechnet aus n, c und k einen erwartungstreuen Schätzer für pass@k. Das Paper liefert dafür eine kurze numpy-Funktion mit.

Die Zahlen lesen

pass@1 entspricht dem, wie die meisten einen Coding-Assistenten nutzen: eine Antwort, annehmen oder verwerfen. pass@10 oder pass@100 zeigt, was ein Modell mit Wiederholungen und einer Testsuite schafft, die den Gewinner auswählt. Codex löste 28,8% der HumanEval-Probleme bei pass@1 und 70,2% mit 100 Samples, was zeigt, wie stark sich die Zahl mit k verschiebt. Vergleiche Modelle nur beim selben k, derselben Sampling-Temperature und demselben Prompt.

pass@k versus pass^k

τ-bench nutzt eine verwandte Metrik namens pass^k, die fragt, ob ein Agent bei allen k Durchläufen derselben Aufgabe erfolgreich ist. pass@k belohnt einen einzelnen Glückstreffer; pass^k belohnt Beständigkeit. Für Agenten, die unbeaufsichtigt laufen, ist pass^k oft die aussagekräftigere Zahl. Wie sich diese in einen breiteren Testplan einfügen, erklärt LLM-Evaluation.

Verwandte Begriffe

HumanEval
HumanEval ist ein Benchmark für Codegenerierung, den OpenAI 2021 veröffentlicht hat: 164 von Hand geschriebene Python-Aufgaben, jede mit Funktionssignatur, Docstring und Unit-Tests, mit denen geprüft wird, ob ein Modell Code schreibt, der tatsächlich funktioniert.
SWE-bench
SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
τ-bench
τ-bench (tau-bench) ist ein Benchmark, der KI-Agenten in simulierten Kundenservice-Gesprächen testet: Ein Sprachmodell spielt den Nutzer, und der Agent muss domänenspezifische API-Tools nutzen und dabei schriftliche Richtlinien einhalten.

Quellen