LangWatch Scenarioとは？
Scenarioは、LLMオブザーバビリティ企業LangWatchが手がけるツールで、エージェントと会話することでテストします。状況を平易な言葉で記述すると、UserSimulatorAgentがユーザーのメッセージを書き、あなたのエージェントが1つのcall()アダプターを通じて応答し、JudgeAgentが各ターンで会話を基準と照らし合わせ、最後に判定を下します。スクリプトでは固定メッセージ、生成メッセージ、ツール呼び出しへのアサーション、模擬のツール結果を混在させることができ、RedTeamAgentは模擬ユーザーをCrescendo方式で段階的に攻撃を強める複数ターンの攻撃者に置き換えます。
テストは通常のpytest(Python)またはvitest(TypeScript)のテストとして実行されます。Goも記載されていますが、READMEには説明がありません。音声エージェントはElevenLabs、OpenAI Realtime、Twilio、Pipecat、Gemini Live向けのアダプターでテストでき、音声の注入、背景ノイズ、p50とp95のレイテンシー計測に対応します。cache_keyを使うと、模擬ユーザーが実行ごとに同じ入力を繰り返します。
リポジトリのスター数は約1,000で、ライ センスはApache-2.0です。シミュレーターとジャッジにはLLMのキーが必要で(サンプルの既定はopenai/gpt-4.1-mini)、LangWatchのキーは任意で、実行のライブ表示が加わります。
LangWatch Scenarioは使う価値があるか？
単一プロンプトの評価では、エージェントがどう失敗するかが見えません。エージェントは最初の質問にうまく答えても、4ターン目で制約を忘れたり、ユーザーが考えを変えたときに間違ったツールを呼んだりします。Scenarioは会話全体を模擬してこれをテストし、最大の成果はそれをテストスイートの他のテストと同じ見た目にしたことです。説明、ジャッジ用の基準リスト、結果へのassertを持つpytestまたはvitestの関数です。
スクリプトの仕組みが最大の強みです。シミュレーターをmax_turnsまで自動で走らせることも、最初のメッセージを固定し、模擬のツール結果を注入し、特定のツールが呼ばれたことを確認してから、残りをLLMに任せることもできます。この組み合わせにより、テストはシミュレーターがたまたま言うことではなく、確かめたい振る舞いに集中できます。音声対応はオープンソースの競合より踏み込んでおり、割り込みのテストやレイテンシーのパーセンタイルまで扱えます。
注意点：各テストを2つのモデルが動かし、どちらもトークン代がかかり、どちらも結果がぶれます。cache_keyで模擬ユーザーをキャッシュし、自分のエージェントのLLM呼び出しを@scenario.cache()で包めば再現性は戻りますが、プロンプトを変えるとキャッシュは無効になります。音声だけのテストでもOpenAIのキーが必要です。シミュレーターとジャッジが既定でテキス トモデルだからです。プロジェクトは小さく、スター約1,000に対して未解決のissueが165件あり、音声のセクションで誤ったパッケージ名を挙げるなど、READMEには目に見える誤りがあります。
LangWatchのクラウドは任意です。キーがなければ結果は手元のターミナルにとどまり、キーがあれば無料のDeveloperプランで3シミュレーションまで使えます。共有ダッシュボードが欲しいチームは、1席€29のGrowthに行き着くでしょう。
Scenarioは既存の評価ライブラリの代わりではなく、隣に置くのが最適です。指標とスキャンはGiskardやDeepEvalで、複数ターンを経て初めて現れる問題はScenarioで、という使い分けです。
真価を発揮する場面
レストラングループ向けの予約エージェントを作る開発者
会話の途中でユーザーが日付を変えても、エージェントが人数を尋ね続けることを確かめる
模擬ユーザーが3ターン目で予定を変えるシナリオを書き、予約前に人数が確認されることをジャッジの基準にします。失敗を再現できるよう、cache_keyを付けてCIで実行します。
従業員30人の遠隔医療スタートアップの音声AIチーム
電話エージェントが背景ノイズや割り込みに耐えられるか確かめる
TwilioまたはElevenLabsのアダプターを使い、カフェのノイズを0.3で注入し、文の途中で割り込みを入れ、実行ごとにp95レイテンシーを追います。シミュレーターとジャッジには引き続きOpenAIのキーが必要です。
導入前に確認すること
- 導入
- uv add langwatch-scenario pytest、またはpnpm install @langwatch/scenario vitestを実行し、OPENAI_API_KEYを設定し、call()メソッド1つのアダプターを書いてテストファイルを実行します。
- 連携
- pytestとvitest。サンプルではLiteLLMとVercel AI SDKを使用。LangWatchに接続済みのエージェントはアダプター不要。音声アダプターはElevenLabs、OpenAI Realtime、Twilio Media Streams、Pipecat、Gemini Live。
- データとプライバシー
- ローカルで動作し、会話はシミュレーターとジャッジに設定したLLMプロバイダーに送られます。LangWatchに送られるのはLANGWATCH_API_KEYを設定した場合だけです。キャッシュは~/.scenario/cacheに置かれます。
- 大規模利用時のコスト
- ライブラリは無料で、費用はテストのターンごとに2つのLLMです。LangWatch Growthはコアシート1席あたり月€29で200kイベント込み、超過は100kごとに€5で、シミュレーションの各ステップが1イベントとして数えられます。
- 制限
- max_turnsで会話の長さに上限があります。LiveKit、Vapi、汎用WebRTC向けの音声アダプターは予定段階で、まだ提供されていません。
良い点
- 複数ターンのエージェントテストを通常のpytestやvitestのテストとして書ける
- 固定ターンと模擬ターン、ツールのアサーションとモックをスクリプトで混在できる
- Crescendo方式の複数ターン攻撃を行うレッドチームエージェント
- ノイズ注入とレイテンシーのパーセンタイルに対応した音声アダプター
- 再現可能な実行のためのキャッシュ
気になる点
- シミュレーターとジャッジのLLM呼び出しで実行ごとにトークン代がかかる
- キャッシュしないと実行ごとに結果がぶれる
- Goは記 載されているが説明がない
- 未解決issue 165件、READMEに誤りがある小規模プロジェクト
おすすめの人
チャットや音声のエージェントを作り、既存のテストランナーで会話単位の回帰テストを行いたいチーム。
LangWatch Scenarioの代替
LangWatch Scenario：よくある質問
- LangWatch Scenarioは使う価値があるか？
- Scenarioは複数ターンのエージェントテストを通常の単体テストとして書く最も分かりやすい方法です。ただし、両側にLLMがいるため、実行のたびに結果が少しずつ変わり、少しずつ費用がかかることを受け入れる必要があります。 評価は5点満点中3.9点です。
- LangWatch Scenarioの料金は？
- 無料のオープンソース(Apache-2.0)。シミュレーターとジャッジのトークン代は自己負担。任意のLangWatchクラウド:Developer €0(50kイベント、3シミュレーション)、Growthはコアシート1席あたり月€29で200kイベント込み、超過は100kごとに€5。
- LangWatch Scenarioの欠点 は？
- シミュレーターとジャッジのLLM呼び出しで実行ごとにトークン代がかかる; キャッシュしないと実行ごとに結果がぶれる; Goは記載されているが説明がない; 未解決issue 165件、READMEに誤りがある小規模プロジェクト.
- LangWatch Scenarioは誰に向いているか？
- チャットや音声のエージェントを作り、既存のテストランナーで会話単位の回帰テストを行いたいチーム。
- チームや本番環境でLangWatch Scenarioを使うと費用はいくらか？
- ライブラリは無料で、費用はテストのターンごとに2つのLLMです。LangWatch Growthはコアシート1席あたり月€29で200kイベント込み、超過は100kごとに€5で、シミュレーションの各ステップが1イベントとして数えられます。
- LangWatch Scenarioは企業データを扱っても安全か？
- ローカルで動作し、会話はシミュレーターとジャッジに設定したLLMプロバイダーに送られます。LangWatchに送られるのはLANGWATCH_API_KEYを設定した場合だけです。キャッシュは~/.scenario/cacheに置かれます。
- LangWatch Scenarioの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はGiskard, DeepEval, promptfoo 、 Langfuseです。
回答確認日：2026年11月6日