LLM-as-a-judge
LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
別名: judge model, LLM judge, model-graded eval
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
要約、サポートの返信、助言など、AI の出力の多くは完全一致では確認できません。人によるレビューは最も信頼できる基準ですが、遅くて高価です。審査役のモデルなら何千もの出力を素早く採点できるので、LLM 評価でよく使われる採点役になっています。
仕組み
審査役に、入力、採点する出力、指示を与えます。よくある形式は、ルーブリックに基づく単一のスコア(たとえば、回答は情報源に忠実か、1 から 5 で評価)、特定のルールに対する合否、2 つの回答の一対比較です。スコアを出す前に理由を説明させると、判断を検証しやすくなります。
Zheng らは MT-Bench と Chatbot Arena を使ってこの手法に名前を付け、研究しました。GPT-4 のような強力な審査役は人の選好と 80% を超える一致率に達し、これは人どうしが一致する水準とほぼ同じだと報告しています。
知られている偏り
同じ論文は、設計の段階で対処すべき問題を記録しています。位置の偏り:先に来た回答を好む。冗長さの偏り:長い回答を好む。自己贔屓の偏り:審査役と同じモデルファミリーが書いた回答を好む。また、審査役は自分では解けない数学や推論の採点に苦労します。よくある対策は、回答の順番を入れ替えて平均を取る、審査役に参照用の回答を与える、別のモデルファミリーを審査役に使う、といったものです。
人の関与を残す
審査役のスコアを信頼する前に、一部を人による評価と照らし合わせ、審査役のモデルやプロンプトを変えたら確認し直してください。人がラベルを付けたゴールデンデータセットがあれば、この調整を繰り返し行えます。DeepEval や promptfoo などのフレームワークには、すぐに使える審査役の指標が用意されています。
関連用語
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- 人による評価
- 人による評価(human evaluation)とは、自動化された指標ではなく人によって AI の出力を判定することです。たとえば評価者がルーブリックに沿って回答を採点したり、ブラインドテストで匿名の 2 つの回答のうちよいほうを選んだりします。
- ゴールデンデータセット
- ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
- LMArena
- LMArenaは、当初Chatbot Arenaとして知られた公開プラットフォームで、クラウドソーシングによる人間の投票でAIモデルをランク付けします。ユーザーは同じプロンプトに答える匿名の2つのモデルを見て、より良い応答を選びます。