報酬モデル
報酬モデル(reward model)とは、人間の選好データで学習し、応答がどれだけ良いかを採点する別個のモデルです。その後、強化学習がそのスコアを使って、人が好む回答に向けて言語モデルを調整します。
別名: preference model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
学習中に何百万ものモデル出力を人が評価することはできないため、報酬モデルが人の代わりを務めます。通常は、最終層を1つの数値を出力するものに置き換えた言語モデルです。比較から学習します。プロンプトと2つの応答、そして人がどちらを好んだかを示され、好まれた方に高いスコアを付けるよう学習します。
使われる場面
報酬モデルはRLHFの中核です。OpenAIの要約の研究とその後のInstructGPTでは、人が出力を比較または順位付けし、モデルがその選好を予測するよう学習し、そのモデルがポリシーモデルの強化学習で報酬関数として使われました。ポリシーは通常、教師ありファインチューニングの結果です。
学習以外でも使われます。推論時に複数のサンプル回答から最良のものを選ぶこと(test-time computeの一形態)や、合成データの選別や順位付けです。
報酬モデルとDPOの違い
DPOは別個の報酬モデルを省き、言語モデルを選好のペアで直接学習させます。実行が簡単なため、多くのオープンなモデルがこれを使っています。再利用できる採点器が欲しい場合やオンラインの強化学習を行う場合は、別個の報酬モデルが依然として役立ちます。
限界
報酬モデルは、人が望むものの近似にすぎません。それに対して強く最適化したポリシーは、長い回答やお世辞を含む回答のように、スコアは高いが実際には良くない出力を見つけることがあります。これは報酬ハッキングと呼ばれ、学習パイプラインでは、ポリシーが出発点から離れすぎることにペナルティを与えて抑えています。
関連用語
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- 直接選好最適化(DPO)
- 直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、 言語モデルを人の選好に合わせる方法です。
- 教師ありファインチューニング(SFT)
- 教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
- LLM-as-a-judge
- LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
- AI アライメント
- AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。