Inspectとは？
Inspect は大規模言語モデルとエージェントのための評価フレームワークで、UK AI Security Institute が非営利団体の Meridian Labs と共同で開発しています。評価は Python で、データセット、solver（モデルへのプロンプトの与 え方やエージェントとしての動かし方）、scorer からなるタスクとして書きます。
ツール使用、マルチターンのエージェント、Docker でのサンドボックス実行に対応し、Kubernetes、Modal、EC2、Proxmox などは拡張として利用できます。20 を超えるモデルプロバイダーに加え、Hugging Face、vLLM、SGLang 経由のローカルモデルとも連携し、ログビューア（`inspect view`）と VS Code 拡張が付属します。別のコレクションには既製の評価が 200 以上あります。
バージョン 0.3.283 は 2026年10月21日に公開されました。
Inspectは使う価値があるか？
Inspect はプロダクトチームのテストランナーというより、AI 安全性の世界の共通ハーネスです。GitHub のスター約 3,070 は、その実態をかなり過小に表しています。Meridian Labs によると、UK AISI、US CAISI、EU AI Office、日本と韓国の研究所、そして METR、Apollo、Epoch、RAND で標準のフレームワークになっています。ただしこの一覧は自己申告です。開発の動きも速く、2026年10月9日から21日までの間に 6 回リリースされ、いずれもまだ 0.3.x です。
設計は難しい評価で真価を発揮します。マルチステップのエージェント、ツール呼び出し、モデルによる採点、長いトランスクリプトが標準で扱え、ログビューアではすべてのサンプルのすべてのメッセージを順にたどれます。付属コレクションの 200 以上の評価により、研究機関は標準ベンチマークと独自タスクを 1 つのパイプラインで実行できます。
サンドボックスには注意が必要です。組み込みは `docker` と `local` だけで、`local` はサンドボックスではまったくなく、あなたのユーザー権限で動きます。 自動生成される Docker 設定は `network_mode: none` を指定しますが、独自の compose ファイルを渡すとこれが外れ、Compose のデフォルトネットワークはインターネットに届きます。書き込み可能なホストのマウントはオプトインしない限りブロックされます。10 MB の exec 上限を超えた出力はエラーなしで先頭側が切り捨てられ、scorer が見る内容が気づかないうちに変わることがあります。
CI でプロンプトをアサートしたいプロダクトチームなら、promptfoo の設定ファイルや DeepEval の pytest スタイルのほうが少ないコードで済みます。Inspect は Python が前提で、ホスト型のダッシュボードも有料プランもなく、コミュニティは専門性は高いものの規模は小さめです。
CASRAI のガイドは覚えておく価値のある点を指摘しています。共通のハーネスは異なる研究所の結果を比較可能にしますが、それはインフラであって保証ではありません。その数字が何を意味するかは、ハーネスの中で書くタスク次第です。
真価を発揮する場面
独立系評価機関の安全性研究者
複数のフロンティア API に対して CTF 形式のエージェント評価を実行する
サンプルごとに Docker サンドボックスを使うタスクを定義し、1 つのスクリプトから各プロバイダーで実行します。Docker はデフォルトでマシンのプロセッサ数の 2 倍までサンドボックスを動かすため、CPU の多いマシンほど実行時間が 短くなります。費用は API トークンとそのマシンです。
モデル開発企業の ML エンジニア
ファインチューニングしたオープンモデルと API のベースラインを標準ベンチマークで比較する
オープンモデルを vLLM で提供し、Inspect に両方を指定して、200 以上のコレクションからベンチマークを取り込みます。両モデルに 1 つのハーネスを使うことで、プロンプト形式のずれがなくなります。費用はローカルモデルの GPU 時間です。
銀行の AI ガバナンス責任者
社内アシスタントのモデルリスク審査のための証拠を用意する
データサイエンスチームに銀行のテストケースを Inspect のタスクとして書いてもらい、すべてのプロンプト、応答、スコアを記録したログを保管します。無料で使えますが、ベンダーのサポート契約はないため、ハーネスの管理は銀行の責任になります。
導入前に確認すること
- 導入
- `pip install inspect-ai` とプロバイダーの SDK（例: `pip install anthropic`）、それに API キーを用意します。最初の評価は短い Python ファイルから `inspect eval` で実行で きます。サンドボックスを使うエージェントタスクには Docker が必要です。
- 連携
- 20 を超えるモデルプロバイダー、Hugging Face、vLLM、SGLang によるローカル推論に対応します。Docker のサンドボックスは組み込みで、k8s、Daytona、Modal、EC2、Proxmox、Vagrant、OpenShell は拡張パッケージとして提供されます。ControlArena や解釈可能性のライブラリがこれを基盤にしています。
- データとプライバシー
- 自分のマシンで動き、プロンプトは設定したモデルプロバイダーにだけ送られ、ログはローカルに書き込まれます。テレメトリーについてドキュメントに記載はありません。MIT ライセンスです。local サンドボックスではエージェントにあなたのユーザー権限が与えられ、サンドボックスがインターネットに届かない場合でも、独自のツールや scorer は届くことがあります。
- 大規模利用時のコスト
- 有料版もホスト版もありません。費用はすべてのサンプルと採点呼び出しのモデルトークン、それにサンドボックスの計算資源で、大規模な評価セットでは Kubernetes や Modal の拡張でスケールアウトします。
- 制限
- 未解決の issue と pull request は約 460 件。0.x のバージョンで、リリースが非常に頻繁です。フ ァイル読み込みは 100 MB、exec の出力は 10 MB が上限で、超えた分は通知なしで切り捨てられます。Docker サンドボックスにはデフォルトの CPU やメモリの上限がありません。
良い点
- エージェント、ツール使用、モデルによる採点を前提に設計
- ネットワークがデフォルトで無効な Docker サンドボックスと、k8s やクラウドの拡張
- 順にたどれるログビューアと VS Code 拡張
- 既製の評価が 200 以上あり、各国政府の安全性研究所で使われている
気になる点
- Python のみで、CI 向けツールより準備の手間が多い
- 独自の compose ファイルでは気づかないうちにネットワークアクセスが有効に戻る
- まだ 0.x で、数日ごとにリリースされる
- promptfoo や DeepEval よりコミュニティが小さい
おすすめの人
エージェントや能力の評価を行う研究者と安全性チーム。
Inspectの代替
Inspect：よくある質問
- Inspectは使う価値があるか？
- Inspect は政府機関と独立系による AI 安全性テストの共通ハーネスです。CI でプロンプトを確認したいプロダクトチームには、必要以上に大がかりなフレームワークでしょう。 評価は5点満点中4.4点です 。
- Inspectの料金は？
- MIT ライセンスの無料のオープンソースです。
- Inspectの欠点は？
- Python のみで、CI 向けツールより準備の手間が多い; 独自の compose ファイルでは気づかないうちにネットワークアクセスが有効に戻る; まだ 0.x で、数日ごとにリリースされる; promptfoo や DeepEval よりコミュニティが小さい.
- Inspectは誰に向いているか？
- エージェントや能力の評価を行う研究者と安全性チーム。
- チームや本番環境でInspectを使うと費用はいくらか？
- 有料版もホスト版もありません。費用はすべてのサンプルと採点呼び出しのモデルトークン、それにサンドボックスの計算資源で、大規模な評価セットでは Kubernetes や Modal の拡張でスケールアウトします。
- Inspectは企業データを扱っても安全か？
- 自分のマシンで動き、プロンプトは設定したモデルプロバイダーにだけ送られ、ログはローカルに書き込まれます。テレメトリーについてドキュメントに記載はありません。MIT ライセンスです。local サンドボックスではエージェントにあなたのユーザー権限が与えられ、サンドボックスがインターネットに届かない場合でも、独自のツールや scorer は届くことがあります。
- Inspectの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はLM Evaluation Harness, promptfoo 、 DeepEvalです。
回答確認日：2026年10月23日