SWE-bench
SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
別名: SWE-bench Verified, SWE-bench Lite
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
以前のコーディングのテストは、モデルに短い関数を1つ書かせるものでした。SWE-benchが求めるのは、開発者が実際に行っていることです。issueを読み、大きなコードベースの中から適切なファイルを見つけ、それを変更することです。元の論文は、12のPythonリポジトリにわたる実際のissueとそのプルリクエストから2,294の問題を集めました。修正は複数の関数やファイルに及ぶことが多いため、単なるオートコンプリートではなく、検索し、コードを実行し、反復できるエージェントが評価されます。
採点方法
各タスクには、修正前のコミット時点のリポジトリと、実際のプルリクエストで合格するようになったテストが付いています。テスト対象のシステムがパッチを生成します。ハーネスがそれを適用し、テストを実行します。スコアは解決したissueの割合です。論文の発表時、テストした中で最良のモデルが解決したのはissueの2%未満でした。現在のコーディングエージェントのスコアは、最新のリーダーボードで確認してください。
SWE-bench Verified
SWE-bench Verifiedは、元のテストセットから人が品質を確認した500タスクのサブセットです。ほかの変種にはLite、Multilingual、Multimodalがあり、公式のリーダーボードに掲載されています。
スコアの読み方
エージェントの 足場はモデルと同じくらい重要です。同じモデルでも、ツール、プロンプト、ステップ数の上限が違えばスコアは変わります。どの変種が使われたか、結果がラボによるものか独立した実行によるものかを確認してください。issueは公開されているため、ベンチマーク汚染は現実的な懸念です。mini-SWE-agentは、SWE-benchのプロジェクト群の一部として掲載されている小さなエージェントです。ターミナル中心の作業についてはTerminal-Benchをご覧ください。
関連用語
- コーディングエージェント
- コーディングエージェント(coding agent)とは、人が貼り付けるコードを提案するだけでなく、ソフトウェアに直接取り組む AI エージェントです。コードベースを読み、ファイルを編集し、コマンドとテストを実行し、変更が動くまで繰り返します。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- Terminal-Bench
- Terminal-Benchとは、コマンドラインのターミナルで作業するAIエージェントのためのベンチマークです。各タスクではエージェントに実際の環境が与えられ、作業が本当に完了したかを確認するテストで採点されます。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
- pass@k
- pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功する確率です。