本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

回帰テスト(LLMアプリ)

LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。

別名: LLM regression testing, prompt regression testing, eval regression

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

通常のソフトウェアでは、回帰とは以前は動いていたものに生じたバグのことです。LLMアプリは簡単に回帰します。プロンプトの言い回しを変えると1つの回答が直って別の3つが壊れたり、プロバイダーがモデルを更新したり、新しい検索設定で届くコンテキストが変わったりします。回帰テストは、ユーザーより先にこれを見つけます。

仕組み

まず、実際の入力と期待される結果からなるゴールデンデータセットを用意します。変更のたびに全ケースをアプリに通し、出力を採点します。正解が1つに決まる場合はコードで、自由回答にはLLM-as-a-judgeで、一部のサンプルは人が採点します。前回の実行とスコアを比較し、下がっていればビルドを失敗させます。OpenAIのcookbookでは、プッシュ通知を要約するアプリを例に、プロンプトの変更で挙動が回帰するかを確認する方法を示しています。promptfooなどのオープンソースツールを使えば、ケースを宣言的に記述してCIで実行できます。

単体テストとの違い

モデルの出力は実行ごとに変わり、temperatureが高いほど顕著です。各ケースを複数回実行し、単一の結果ではなく合格率を追跡し、完全一致を求めずにしきい値を設定してください。可能であればモデルのバージョンを固定し、変化の原因が自分のコードかプロバイダーかを判別できるようにします。

本番環境では

オフラインのテストは既知のケースを扱います。想定していなかったケースはLLM observabilityが捉えます。そうした失敗をテストセットに加えれば、直った状態が保たれます。両者を合わせたものがLLM評価のテストの側面です。

関連用語

LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
ゴールデンデータセット
ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
LLM-as-a-judge
LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
LLM observability(LLMオブザーバビリティ)
LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つまりプロンプト、応答、ツール呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これにより障害をデバッグし、システムの挙動を長期的に把握できます。
Temperature(サンプリング)
Temperature(温度)とは、言語モデルの単語の選び方がどれだけランダムかを制御するサンプリングの設定です。低い値では最も可能性の高いトークンが選ばれやすくなり、高い値では可能性の低いトークンにも選択が広がります。

出典