人による評価
人による評価(human evaluation)とは、自動化された指標ではなく人によって AI の出力を判定することです。たとえば評価者がルーブリックに沿って回答を採点したり、ブラインドテストで匿名の 2 つの回答のうちよいほうを選んだりします。
別名: human raters, blind test, human grading, pairwise preference
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
回答が役に立つか、よく書けているか、適切かなど、重要な性質の多くはコードで採点するのが困難です。人による評価は、人に尋ねます。より安価な方法の妥当性を確かめる際の基準になるものです。
よくある形式
絶対評価では、評価者が 1 つの出力を尺度やルーブリックで採点します。一対比較の選好では、評価者が同じプロンプトに対する 2 つの出力を見て、よいほうを選びます。こちらのほうが一貫して行いやすい方法です。専門家によるレビューでは、一般の評価者には正確さを判断できない場面で、医師や弁護士などの分野の専門家に頼ります。ブラインドテストでは、どのモデルがどの回答を書いたかを伏せるので、ブランドや先入観が投票を左右しません。
どこで使われるか
LMArena は一般の人から一対比較の投票を集めてリーダーボードにしています。運営者は、大勢の投票が専門家の評価者とよく一致すると報告しています。モデルの学習でも、RLHF を通じて人の選好が使われます。自分のアプリでは、LLM-as-a-judge の採点 役に頼る前に、人が採点した少数の例を使って、それが人と一致するかを確かめるのが最善の方法です。
限界
Anthropic の評価ガイドは、人による採点を最も柔軟で質の高い方法としつつ、遅くて高価だと述べています。評価者どうしの意見は分かれ、疲れ、基準がぶれていくので、明確な指示を書き、評価者間の一致度を測り、ゴールデンデータセットから答えのわかっている項目を混ぜてください。また、好まれることと正しいことは別です。自信に満ちて体裁の整った回答は、間違っていても投票で勝つことがあります。
関連用語
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- LMArena
- LMArenaは、当初Chatbot Arenaとして知られた公開プラットフォームで、クラウドソーシングによる人間の投票でAIモデルをランク付けします。ユーザーは同じプロ ンプトに答える匿名の2つのモデルを見て、より良い応答を選びます。
- LLM-as-a-judge
- LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- ゴールデンデータセット
- ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。