Terminal-Bench
Terminal-Benchとは、コマンドラインのターミナルで作業するAIエージェントのためのベンチマークです。各タスクではエージェントに実際の環境が与えられ、作業が本当に完了したかを確認するテストで採点されます。
別名: Terminal-Bench 2.0, tbench
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
コーディングエージェントはますますシェルを通じて作業するようになっています。パッケージのインストール、ファイルの編集、ビルドの実行、デバッグです。Terminal-Benchはそれを測ります。運営しているのはStanfordとLaude Instituteがホストするチームで、タスクはパズルのような問題ではなく実際のワークフローから集められています。
仕組み
各タスクには独自の環境、人が書いた参照解答、結果を検証するテストが付いています。エージェントは指示とともに環境に放り込まれ、ターミナルを使って作業を終えなければなりません。スコアは解決したタスクの割合です。Terminal-Bench 2.0の論文は89の難しいタスクを説明し、フロンティアモデルとエージェントのスコアが65%未満だったと報告しています。その後プロジェクトは新しいバージョンに移っており、執筆時点のサイトにはTerminal-Bench 4.1が載っています。
モデルとハーネスはセット
リーダーボードは各結果についてモデルとエージェントの両方を掲載しています。同じモデルでもエージェントハーネスが違えばスコアが変わるからです。モデルの開発元がTerminal-Benchの数字を挙げるときは、どのハーネスとバージョンを使ったかを確認してください。サイトはまた、ベンチマーク汚染を抑えるため、データに学習データに決して含めないよう求めるカナリア文字列を付けています。
SWE-benchとの違い
SWE-benchは、オープンソースのリポジトリの実際のissueをエージェントに修正させます。Terminal-Benchは、システムのセットアップからデータのタスクまで、より幅広いコマンドラインの作業を対象とします。どちらもコーディングエージェントを選ぶときに役立ちますが、どちらも、安全なサンドボックスで自分のプロジェクトにエージェントを試すことの代わりにはなりません。
関連用語
- SWE-bench
- SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
- コーディングエ ージェント
- コーディングエージェント(coding agent)とは、人が貼り付けるコードを提案するだけでなく、ソフトウェアに直接取り組む AI エージェントです。コードベースを読み、ファイルを編集し、コマンドとテストを実行し、変更が動くまで繰り返します。
- エージェントハーネス
- エージェントハーネス(agent harness)とは、モデルを実際に動くエージェントにするための周辺ソフトウェアです。ループ、ツール、システムプロンプト、権限、コンテキスト管理、セッション間で進捗を引き継ぐためのファイルなどを含みます。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- エージェントサンドボックス
- エージェントサンドボックス(agent sandbox)とは、コンテナ、仮想マシン、オペレーティングシステムの制限などによる隔離された環境です。AI エージェントはその中でコードやコマンドを実行し、決められた範囲の外にあるファイル、ネットワーク、データには届きません。