直接選好最適化(DPO)
直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、言語モデルを人の選好に合わせる方法です。
別名: DPO
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
DPO は、RLHF と同じ目標に至るより単純な道として、Rafailov らが 2023 年に発表しました。どちらも選好データから始めます。各プロンプトについて、人がより好んだ回答と、あまり好まなかった回答です。RLHF はまずそのデータで報酬モデルを学習させ、それに対して強化学習を行います。DPO は、同じ目的関数を書き換えて、言語モデルそのものをペアで学習させられることを示しました。損失関数は、凍結した参照用のモデルのコピーを基準に、選ばれた回答の確率を退けられた回答に比べて高めるものです。
広まった理由
2 つ目のモデルを学習させる必要も、学習中にモデルからサンプリングする必要もないので、DPO は通常の教師ありファインチューニングと同じように動きます。論文は DPO を、安定していて性能が高く、計算が軽いと説明し、試したタスクで PPO ベースの RLHF と同等以上の結果を報告しています。Unsloth や Axolotl をはじめ、多くのオープンなファインチューニング ツールが対応しています。
限界
DPO は与えられたペアからしか学ばないので、データの品質が非常に重要です。ノイズが多かったり一貫しなかったりする選好は、混乱したモデルを生みます。通常は教師ありファインチューニングの代わりではなく、その後に適用します。オフラインで学習するため、RL のループのように新しい回答を探索することはできず、その後のいくつかの派生手法がこの点に取り組んでいます。モデルの適応の全体像についてはファインチューニングをご覧ください。
関連用語
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- 報酬モデル
- 報酬モデル(reward model)とは、人間の選好データで学習し、応答がどれだけ良いかを採点する別個のモデルです。その後、強化学習がそのスコアを使って、人が好む回答に向けて言語モデルを調整します。
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- 教師ありファインチューニング(SFT)
- 教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
- AI アライメント
- AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。