HumanEval
HumanEval は、OpenAI が 2021 年に公開したコード生成のベンチマークです。手書きで作られた 164 問の Python の問題からなり、それぞれに関数のシグネチャ、docstring、ユニットテストがあります。モデルが実際に動くコードを書けるかを確かめるために使います。
別名: OpenAI HumanEval
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
HumanEval は Codex の論文とともに公開されました。Codex の製品版は GitHub Copilot を支えていました。各問題では、モデルに Python の関数のシグネチャと、その関数が何をすべきかを説明する docstring を与えます。モデルが本体を書き、ベンチマークがそれにユニットテストを実行します。これが測るのは機能的な正しさです。見た目に関係なく、コードはテストに通るか通らないかのどちらかです。
採点方法
結果は pass@k、通常は pass@1 で報告されます。公開時、Codex は 1 回の試行で問題の 28.8% を解き、GPT-3 は 1 問も解けませんでした。問題は、モデルの学習に使われたコードにすでに含まれていることがないよう、手で書かれました。
限界
HumanEval の問題は短く自己完結した関数で、実際のソフトウェア開発よりも面接の問題に近いものです。高いスコアからは、大きなコードベースのバグ修正、コマンドの実行、多くのファイルにまたがる作業についてはほとんどわかりません。それを測ろうとしているのが SWE-bench や Terminal-Bench です。問題は 2021 年から公開されているので、新しい学習データに漏れている可能性もあります。これはベンチマーク汚染と呼ばれる問題です。HumanEval のスコアはコーディング能力の最低限の目安として扱い、コーディングエージェントを選ぶ前に自分のタスクで試してください。
関連用語
- pass@k
- pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功する確率です。
- SWE-bench
- SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- コーディングエージェント
- コーディングエージェント(coding agent)とは、人が貼り付けるコードを提案するだけでなく、ソフトウェアに直接取り組む AI エージェントです。コードベースを読み、ファイルを編集し、コマンドとテストを実行し、変更が動くまで繰り返します。