LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
別名: evals, LLM evals, model evaluation
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
プロンプトを変えたり、モデルを入れ替えたり、検索の手順を加えたりすると、ある入力ではアプリケーションがよくなり、別の入力では悪くなることがあります。evals は、それをユーザーより先に見つけるための方法です。Anthropic のドキュメントは端的に、まず成功の基準を定め、それに照らして測る評価を設計するよう述べています。
仕組み
評価には 3 つの要素があります。1 つ目は入力のデータセットで、理想的には実際の利用から集め、境界的なケースも含め、多くの場合は参照用の回答付きのゴールデンデータセットとして保持します。2 つ目は各入力でシステムを動かす方法です。3 つ目は採点役です。採点役には、完全一致やコードによるチェック(JSON を解析できるか、テストに通るか)から、類似度のスコア、人によるレビュー、2 つ目のモデルがルーブリックに沿って回答を採点する LLM-as-a-judge まであります。Anthropic のガイドは、採点を自動化できるように問いを構成すること、手で採点する少数のケースより多くのテストケースを優先することを勧めています。
モデルの評価とアプリケーションの評価の違い
公開の AI ベンチマークは共通のタスクでモデルを評価するもので、候補を絞るのに役立ちます。アプリケーションの評価は自分のデータ、プロンプト、ツールを使うもので、システムがあなたのユーザーにとって機能するかを教えてくれます。HELM プロジェクトは、正確さだけでなく、キャリブレーションや頑健性など多くの指標で同時にモデルを測るべきだと主張しました。同じ考え方は自分の評価にも当てはまります。
実務では
チームはプロンプトやモデルを変えるたびに CI で評価を実行し(LLM 回帰テストと呼ばれる方法です)、本番のトレースで見つかった失敗を新しいケースとして追加します。オープンソースのフレームワークには promptfoo、DeepEval、Ragas があります。ツールの比較は評価工程のガイドにあります。入力が攻撃である安全性の評価は、通常レッドチーミングと呼ばれます。
関連用語
- LLM-as-a-judge
- LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な 言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- AIレッドチーミング
- AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
- ゴールデンデータセット
- ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
- 回帰テスト(LLMアプリ)
- LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。