pass@k
pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功する確率です。
別名: pass@1, pass@10, pass@100
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
コードは実行して確かめられます。そのため、HumanEvalのようなコーディングのベンチマークは、モデルのコードを参照解答と比べる代わりにユニットテストを実行し、コードが合格すればその問題を解けたと数えます。pass@kが問うのは、モデルにk回試させたら、少なくとも1つがうまく動く可能性はどれくらいか、ということです。
計算方法
この指標は2019年にKulalらが使い、2021年のOpenAIのCodexの論文で標準になりました。ちょうどk個のサンプルを引いて確認するとばらつきの大きい数字になるため、論文では問題ごとにn個のサンプルを生成し(n = 200を使用)、合格したc個を数え、n、c、kからpass@kの不偏推定値を計算します。論文には、そのための短いnumpyの関数が付いています。
数字の読み方
pass@1は、多くの人がコーディングアシスタントを使う方法に合っています。答えは1つで、採用するかしないかです。pass@10やpass@100は、再試行と勝者を選ぶテストスイートがあれば、モデルに何ができるかを示します。CodexはHumanEvalの問題のうち、pass@1で28.8%、100サンプルで70.2%を解きました。kによって数字がどれほど動くかがわかります。モデルの比較は、同じk、同じサンプリングのtemperature、同じプロンプトでのみ行ってください。
pass@kとpass^k の違い
τ-benchは、pass^kと書く関連指標を使います。これは、同じタスクのk回の試行すべてでエージェントが成功するかを問うものです。pass@kは一度の幸運な成功を評価し、pass^kは一貫性を評価します。無人で動くエージェントでは、pass^kの方が多くを物語ることがよくあります。これらがより広いテスト計画にどう組み込まれるかは、LLM評価をご覧ください。
関連用語
- HumanEval
- HumanEval は、OpenAI が 2021 年に公開したコード生成のベンチマークです。手書きで作られた 164 問の Python の問題からなり、それぞれに関数のシグネチャ、docstring、ユニットテストがあります。モデルが実際に動くコードを書けるかを確かめるために使います。
- SWE-bench
- SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなり ません。
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- τ-bench
- τ-bench(tau-bench)とは、模擬的なカスタマーサービスの会話でAIエージェントをテストするベンチマークです。言語モデルがユーザーを演じ、エージェントは文書化されたポリシーのルールに従いながら、分野ごとのAPIツールを使わなければなりません。