AIアプリをテストし、AIにアプリをテストさせる: レイヤー、ツール、そして費用

執筆： Sheela · 2026年11月6日

テストはいま二つの方向に進んでいます。AI機能を出荷するなら、毎回少しずつ違う答えを返すもののためのテストが必要です。普通のソフトウェアを出荷するなら、AIツールがテストの作成と保守を引き受けると言ってきます。どちらの市場も混み合っていて、どちらも本当の請求額が見えにくい料金体系で、どちらにも緑のビルドに見える失敗パターンがあります。ここでは、レイヤーの考え方、私たちがレビューした16のツールのどれがどの仕事に合うか、そしてチームリードが説明できる最初の構成をまとめます。

全体図: 二つの仕事、七つのレイヤー

混乱の多くは、違う仕事をするツールを比べることから生まれます。RAGの指標ライブラリもブラウザエージェントも「AIテスト」を名乗りますが、どちらも他方の代わりにはなりません。まず仕事を仕分けてください。

AIアプリやエージェントのテストには四つのレイヤーがあります。

評価(evals): 固定の入力と、採点される出力です。回答が根拠から外れていないか、ツール呼び出しが正しい関数に向かっているか。これがユニットテストにあたります。
会話のシミュレーション: 二つ目のモデルが複数ターンにわたってユーザー役を演じます。エージェントが失敗するのは1ターン目ではなく4ターン目だからです。
レッドチームの回帰テスト: 生成した攻撃(プロンプトインジェクション、データ漏えい、有害な出力)を変更のたびに再実行し、塞いだ穴が塞がったままであることを確かめます。
本番でのスコアリング: 同じ採点器を実際のトレースに対して動かし、実ユーザーへの悪い回答を新しいテストケースにします。

AIが普通のソフトウェアをテストする側には三つあります。

バックエンドの記録と再生: 実際のAPI呼び出しと、その裏にあるデータベースの応答を記録し、テストとして再生します。
フロントエンドの記録と再生: 実際のセッションを記録し、変更の前後で画面の見た目を比べます。
ブラウザエージェント: エンドツーエンドテストを計画し、書き、実行し、修復するAIです。テストはあなたのリポジトリか、ベンダーのクラウドに置かれます。

自分のAIアプリをテストする

評価: 最初に作るべきレイヤー

promptfoo(4.5)は、LLMのテストがない状態からCIでテストが回る状態への最短ルートです。プロンプト、プロバイダー、アサーションを書いたYAMLファイルと、比較表を表示する一つのコマンドで済みます。Node.js 22.22以降が必要です。考慮すべき点が一つあります。2026年3月9日、OpenAIはpromptfooを買収すると発表し、同社はいまOpenAIの一部だと述べています。MITライセンスのままで他のプロバイダーにも対応しますが、評価している相手のベンダーに採点役を握られたくないチームもあるでしょう。

DeepEval(4.2)は、既存のテストスイートの中に評価を入れたいPythonチームに向いています。テストはpytestのような見た目で、deepeval test runで実行し、忠実性やタスク完了率がしきい値を下回るとビルドを失敗させます。指標のカタログはオープンソースの中でも特に幅広く、エージェントの計画や音声にまで及びます。

Giskard(4.0)は、決定的なチェック、LLMが判定するチェック、RAGテストセットの生成、レッドチームのスキャンを一つのApache-2.0ライブラリにまとめています。バージョン3は書き直しで、Python 3.12以降が必要になり、v2のユーザーが頼っていた表形式モデルのスキャンはなくなりました。

すでに使っているかもしれない二つも挙げておきます。Ragas(3.4)はRAG評価の用語(忠実性、コンテキスト精度)を定着させ、今もPyPIで月に約105万回ダウンロードされていますが、2026年2月24日以降は誰もコミットしていません。動いているなら使い続けてかまいませんが、新しいプロジェクトでは採用しないでください。UK AI Security InstituteのInspect(4.4)は、各国の公的なAI安全研究所が使う評価基盤で、既製の評価が200以上あります。モデル単位のベンチマークには適したツールですが、CIでプロンプトを確認したいプロダクトチームには大がかりすぎます。

会話のシミュレーション

単発プロンプトの評価では、最初の質問にはうまく答えたのに3ターン後に制約を忘れるエージェントを見逃します。LangWatch Scenario(3.9)は、エージェントと実際に会話してこれを確かめます。一つのモデルがユーザー役を演じ、別のモデルが各ターンを判定し、全体が普通のpytestやvitestのテストとして動きます。最初のメッセージを固定し、モックしたツール結果を差し込み、特定のツールが呼ばれたことをアサートし、その後はシミュレーターに続けさせることができます。音声エージェントにも対応し、ノイズの注入やp50とp95のレイテンシを測れます。スター約1,000、未解決のissueが165件の小さなプロジェクトで、評価ライブラリの代わりではなく、その隣に置くのが向いています。

CIでのレッドチーム回帰テスト

リリース前に一度だけ走らせるレッドチームのスキャンは監査です。プルリクエストのたびに再実行すれば回帰テストになります。promptfooはプロンプトインジェクション、ジェイルブレイク、データ持ち出しの攻撃を生成します。初期設定ではその生成は同社のホスト型サービスで行われ、無料のCommunityプランではレッドチーミングが月10,000プローブまでに制限されます。Giskardのスキャンは、エージェントがすべきこととすべきでないことを普通の言葉で書いた説明から攻撃スイートを作り、OWASP LLM Top 10に対応づけます。ScenarioのRedTeamAgentは、礼儀正しいシミュレーションユーザーを、複数ターンかけて圧力を強める攻撃者に置き換えます。単発の敵対的プロンプトより、実際のジェイルブレイクの進み方に近い方法です。

本番でのスコアリング

リリース前のテストは、あなたが思いついた入力しかカバーしません。Braintrust(4.3)は「直前の変更で良くなったのか」という問いを中心に作られています。実験、データセット、オンラインのスコアリングが一つのデータモデルを共有しているので、本番の悪い回答が数クリックでテストケースになり、同じ採点器がCIでも実トラフィックでも動きます。Langfuse(4.6)はオープンソースの選択肢で、トレース、データセット、実験、LLMを判定役にしたスコアリングを無料のセルフホスト版で使えます。その代わりPostgres、ClickHouse、Redis、オブジェクトストレージを自分で運用することになります。

AIに自分のソフトウェアをテストさせる

記録と再生

Keploy(4.0)はテストのないバックエンド向けです。サービスをkeploy recordの下で起動して一通り操作すると、API呼び出しと、それが引き起こしたPostgreSQL、MySQL、MongoDB、Redis、Kafka、RabbitMQの通信をまとめて記録します。keploy testはリクエストを再生し、記録した依存先をモックとして返すので、CIにテスト用データベースは要りません。LinuxではeBPFでこれを行うため、コードの変更は不要ですが、rootとカーネル5.10以降が必要です。macOSとWindowsのネイティブ版が確実に再生できるのはHTTP、MySQL、MongoDBだけです。

Meticulous(3.7)は同じことをフロントエンドで行います。ステージングやプレビューのビルドに入れた記録スクリプトがセッションと、そのとき受け取ったバックエンドの応答を記録します。プルリクエストのたびに旧コードと新コードの両方で再生し、見た目が変わった画面をまとめて示します。テストコードを書く代わりに、見た目の変化の一覧を確認するわけです。確かめるのは画面の見た目であって、注文がデータベースに届いたかどうかではありません。

ブラウザエージェント

最も混み合っている分野で、四つの選択肢の違いは主に、テストを誰が所有し、誰が実行するかにあります。

Playwright Test Agents(4.1)はPlaywrightに無料で付いてきます。プランナーがアプリを探索してMarkdownのテスト計画を書き、ジェネレーターが計画をリポジトリ内のPlaywrightテストに変え、ヒーラーが失敗したテストを一つずつ修復します。すでに使っているコーディングエージェント(VS Code、Claude Code、Codex、opencode)の中で動き、Playwright MCP(4.7)を呼んでブラウザを操作します。出力は普通のPlaywrightコードで、間にベンダーは入りません。

Momentic(4.0)では、テストを一文で書くとリポジトリにYAMLとして保存され、ホスト型ブラウザ、Androidエミュレーター、iOSシミュレーターで実行されます。ボタンの位置が変わると、自動修復(auto-heal)がそれを見つけ直し、レビュー用の修正案を出します。

TestSprite(3.7)はコーディングエージェントの後ろに控えます。コードや要件定義書を読み、フロントエンドとバックエンドのテストを書き、自社クラウドで実行し、スクリーンショット、ページ構造、修正案をまとめた失敗レポートを返します。

QA Wolf(4.1)はツールではなく仕事そのものを売っています。同社のエージェントがPlaywrightとAppiumのテストを書いて実行し、失敗が古くなったテストのせいか本物のバグかを判断し、バグを動画付きでLinearやJiraに登録します。マネージドプランでは、人間のQAエンジニアがすべての失敗を24時間以内に確認します。コードはエクスポートできます。

AIが生成するユニットテストについて一つ注意があります。かつてCodiumAIと呼ばれ、最初はテスト生成で知られたQodo(3.8)は、この秋テスト生成コマンドを後継なしで廃止し、今はプルリクエストのレビューを売っています。コーディングエージェントは頼めば喜んでユニットテストを書きますが、コードから書いたテストは、コードがすべきことではなく、コードがしていることを確かめてしまう危険があります。アサーションは人が書くか、人が承認してください。

どの仕事にどのツールか

仕事	最初の選択	当サイトの評価	費用
CIでのプロンプトとRAGの回帰テスト	promptfooまたはDeepEval	4.5 / 4.2	無料。判定役とモデルのトークン代がかかる
チェック、RAGの質問、レッドチームのスキャンを一つのPythonライブラリで	Giskard	4.0	無料。判定役のトークン代、初期設定はgpt-4o-mini
複数ターンにわたるエージェントの振る舞い	LangWatch Scenario	3.9	無料。テストごと、ターンごとにLLM呼び出しが2回
モデル単位のベンチマークと安全性評価	Inspect	4.4	無料。トークン代とサンドボックスの計算資源
本番トラフィックのスコアリング(ホスト型)	Braintrust	4.3	無料プランあり。Proは月249ドル
自分でホストするトレースと評価	Langfuse	4.6	セルフホストは無料。クラウドは月29ドルから
テストのないバックエンド	Keploy	4.0	CLIは無料。Proは1ユーザー月19ドル
変化の多いフロントエンドの見た目の回帰	Meticulous	3.7	非公開
自分で所有するエンドツーエンドテスト(Playwright利用中)	Playwright Test Agents	4.1	無料。コーディングエージェントのトークン代
普通の言葉で書くエンドツーエンドテスト(Webとモバイル)	Momentic	4.0	無料で50ドル分の利用。Scaleは月500ドル
自分の仕事をブラウザで確かめるコーディングエージェント	TestSprite	3.7	クレジット制で月19ドルから
エンドツーエンドテストを他者に任せる	QA Wolf	4.1	Web実行1回1ドル、モバイル実行1回2ドル

実際にかかる費用

オープンソースの評価ツールはほぼすべて、インストールは無料で、実行するとトークン代がかかります。DeepEval、Ragas、Giskardはほとんどの指標をLLMの判定役で採点するので、請求額はおおよそテストケース数×指標数×実行回数です。プルリクエストごとに数百件のケースを回すと積み上がり、Scenarioでは各ターンでシミュレーターと判定役の両方が話すので、それが倍になります。フルスイートは毎晩、小さなスモークテストはプルリクエストごとに回しましょう。

ホスト型プラットフォームは課金単位が違い、その単位で向き不向きが決まります。Braintrustは席数ではなくデータ量とスコア数で課金します。月249ドルのProで5 GBと50,000スコアが含まれ、超過分は1,000スコアあたり1.50ドルです。つまり本番のリクエストをすべて判定させると、この項目が最も速く膨らみます。Langfuse自身の試算では、Proで500万ユニットなら月551ドルです。LangWatchのクラウドはGrowthで1席あたり月29ユーロ、DeepEvalのConfident AIはFreeの次が月200ドルです。

ブラウザテストでは、単位は実行回数かステップ数です。QA Wolf自身の例では、Webテスト50件を毎営業日実行すると月約1,083ドルで、同じテストをプルリクエストごとに回せばその何倍にもなります。Momenticは通常のステップが1つ0.0125ドル、AIが判断し直す必要があったステップが0.025ドルです。無料の50ドルは約4,000ステップに相当し、残高がなくなると超過請求ではなくテストが一時停止します。TestSpriteのStarterは400クレジットで19ドルですが、料金ページには1クレジットで何ができるのか書かれていません。KeployのProには400回のテスト実行が含まれ、その後は1回0.22ドルです。Meticulousは価格を一切公開しておらず、レビューサイトの推定は年約2,000ドルから月600ドルまで幅があります。

これらのツールが誤解を招くところ

不安定な判定役。 判定役はモデルであり、モデルらしく失敗します。DeepEvalで特に議論の多いissueには、判定役が不正なJSONを返し、アプリと無関係な理由でテストが落ちるものがあります。判定モデルが変わればスコアも動くので、判定役のバージョンを固定し、その更新は依存関係の更新と同じように扱ってください。比較の前にベースラインを取り直すということです。
非決定性。 アプリも、シミュレーションのユーザーも、判定役も揺れます。Scenarioのcache_keyを使えばシミュレーションのユーザーは同じ発言を繰り返しますが、プロンプトを変えるとキャッシュは無効になります。赤いサンプル1件でビルドを落とすのではなく、複数回の実行で合格率を測り、低下したら警告を出しましょう。
バグを隠す自動修復。 ヒーラーの仕事は赤いテストを緑にすることですが、正しい結果が赤であることもあります。Playwrightのドキュメントによれば、ヒーラーは機能が壊れていると判断してテストをスキップすることがあり、忙しいチームはそれを合格と見誤りかねません。Momenticは修正を黙って適用せずレビュー用に提案し、QA Wolfのエージェントは古くなったテストと本物のバグを区別しようとします。何を買うにしても、修復された差分はすべて読み、スキップされたテストは失敗として数えてください。
記録は過去しか知らない。 KeployとMeticulousがカバーするのは記録中に誰かが操作した内容だけで、記録した応答はスキーマが変われば古くなります。再生スイートが緑でも、誰もクリックしなかった流れについては何もわかりません。
データが社外に出る。 TestSpriteは自社クラウドでテストを実行するので、アプリのページやスクリーンショットが同社のインフラを通ります。Meticulousの記録スクリプトはキー入力とネットワーク応答を記録します。パスワードは初期設定で伏せられますが、それ以外の個人データには自分で書くルールが必要です。promptfoo、DeepEval、Ragas、Giskardはテレメトリーが初期設定で有効で、判定役を呼ぶたびにテスト用プロンプトが設定したプロバイダーに送られます。

最初の構成

AI機能を一つ持ち、普通のWebアプリを運用しているチームなら、次の構成でトークン代とほぼ変わらない費用でリスクの大部分をカバーできます。

実際のユーザーの質問から評価ケースを30から50件、promptfooかDeepEvalで書きます。回答の性質が許す限り決定的なアサーションを使い、そうでない場合だけLLMの判定役を使います。プロンプトやモデルに触れるプルリクエストのたびに実行します。
夜間ビルドにレッドチームのスキャン(promptfooかGiskard)を加え、すり抜けた攻撃はすべて恒久的なテストケースにします。
機能がエージェントなら、過去にうまくいかなかった会話についてScenarioのテストを三つから五つ追加し、シミュレーションのユーザーはキャッシュしておきます。
本番のトレースをLangfuseかBraintrustに送り、毎週いくつかの悪い回答を評価セットに移します。
アプリの残りの部分では、決して壊れてはいけない五つの流れ(登録、決済、大口顧客が頼りにしているエクスポート)を、すでにPlaywrightを使っているならPlaywright Test Agentsで、使っていないならMomenticの無料プランでカバーします。計画と修復されたテストは、すべて誰かがレビューします。
テレメトリーの無効化設定(PROMPTFOO_DISABLE_TELEMETRY、DEEPEVAL_TELEMETRY_OPT_OUT=1、DO_NOT_TRACK=1)は、最初の実行の後ではなく前に行います。

注意点: ここにあるどのレイヤーも、テストスイートを安く作れるようにはしますが、何が正しいかを決めてはくれません。簡単な質問しかしない評価セットは合格し、アサーションを書き換えるヒーラーも合格し、先月のトラフィックの再生も合格します。テストで費用がかかるのは昔から何を確かめるかを決める部分で、その仕事はチームに残ります。

私たちの見方: テストにおけるAIは、仕事の速い新人のように扱うのがよいでしょう。ケースを書かせ、実行させ、修正を提案させる一方で、何が正しくあるべきかの一覧と、AIが変えたテストの承認は人が持ち続けます。ホスト型サービスにお金を払うのは、その請求額が、チームの誰かが無料版を動かし続けるのに費やす時間より小さくなってからで十分です。