本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Terminal-Bench

Terminal-Benchとは、コマンドラインのターミナルで作業するAIエージェントのためのベンチマークです。各タスクではエージェントに実際の環境が与えられ、作業が本当に完了したかを確認するテストで採点されます。

別名: Terminal-Bench 2.0, tbench

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

コーディングエージェントはますますシェルを通じて作業するようになっています。パッケージのインストール、ファイルの編集、ビルドの実行、デバッグです。Terminal-Benchはそれを測ります。運営しているのはStanfordとLaude Instituteがホストするチームで、タスクはパズルのような問題ではなく実際のワークフローから集められています。

仕組み

各タスクには独自の環境、人が書いた参照解答、結果を検証するテストが付いています。エージェントは指示とともに環境に放り込まれ、ターミナルを使って作業を終えなければなりません。スコアは解決したタスクの割合です。Terminal-Bench 2.0の論文は89の難しいタスクを説明し、フロンティアモデルとエージェントのスコアが65%未満だったと報告しています。その後プロジェクトは新しいバージョンに移っており、執筆時点のサイトにはTerminal-Bench 4.1が載っています。

モデルとハーネスはセット

リーダーボードは各結果についてモデルとエージェントの両方を掲載しています。同じモデルでもエージェントハーネスが違えばスコアが変わるからです。モデルの開発元がTerminal-Benchの数字を挙げるときは、どのハーネスとバージョンを使ったかを確認してください。サイトはまた、ベンチマーク汚染を抑えるため、データに学習データに決して含めないよう求めるカナリア文字列を付けています。

SWE-benchとの違い

SWE-benchは、オープンソースのリポジトリの実際のissueをエージェントに修正させます。Terminal-Benchは、システムのセットアップからデータのタスクまで、より幅広いコマンドラインの作業を対象とします。どちらもコーディングエージェントを選ぶときに役立ちますが、どちらも、安全なサンドボックスで自分のプロジェクトにエージェントを試すことの代わりにはなりません。

関連用語

SWE-bench
SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
コーディングエージェント
コーディングエージェント(coding agent)とは、人が貼り付けるコードを提案するだけでなく、ソフトウェアに直接取り組む AI エージェントです。コードベースを読み、ファイルを編集し、コマンドとテストを実行し、変更が動くまで繰り返します。
エージェントハーネス
エージェントハーネス(agent harness)とは、モデルを実際に動くエージェントにするための周辺ソフトウェアです。ループ、ツール、システムプロンプト、権限、コンテキスト管理、セッション間で進捗を引き継ぐためのファイルなどを含みます。
AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
エージェントサンドボックス
エージェントサンドボックス(agent sandbox)とは、コンテナ、仮想マシン、オペレーティングシステムの制限などによる隔離された環境です。AI エージェントはその中でコードやコマンドを実行し、決められた範囲の外にあるファイル、ネットワーク、データには届きません。

出典