本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

RLHF

RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。

別名: reinforcement learning from human feedback

執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法

事前学習済みのモデルはありそうなテキストを予測しますが、それは役に立つ誠実な回答を返すこととは別物です。RLHFはそのギャップを埋める方法の1つです。広く知られるきっかけはOpenAIのInstructGPTの論文(Ouyang et al., 2022)で、GPT-3を指示に従うモデルに変えました。

仕組み

InstructGPTの手順は3つのステップからなります。まず、人がプロンプトに対する良い回答を書き、モデルをそれで教師ありファインチューニングします。次に、モデルがプロンプトごとに複数の回答を書き、ラベラーがそれを順位付けします。その順位を予測するよう、別個の報酬モデルを学習させます。最後に、報酬モデルが高く採点する回答を生成するよう、モデルを強化学習(論文ではPPO)で学習させます。その際、出発点のモデルから離れすぎないようペナルティを加えます。

論文の人間による評価では、パラメータが100分の1であるにもかかわらず、1.3BパラメータのInstructGPTモデルの出力が175BのGPT-3の出力より好まれました。

限界

RLHFは費用がかかり、扱いが厄介です。大量の人手によるラベル付け、2つ目のモデル、不安定になりうる強化学習のループが必要です。モデルは本当に改善する代わりに、報酬モデルの弱点を突くことを学ぶことがあります。ラベラーの好みも結果を左右し、これはより広いAIアライメントの議論の一部です。

RLHFとDPO

Direct preference optimizationは同じ種類の選好データを使いますが、別個の報酬モデルと強化学習のループを省きます。そのため、現在では多くのオープンなモデルが、代わりにDPOやその変種を使っています。

関連用語

直接選好最適化(DPO)
直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、言語モデルを人の選好に合わせる方法です。
報酬モデル
報酬モデル(reward model)とは、人間の選好データで学習し、応答がどれだけ良いかを採点する別個のモデルです。その後、強化学習がそのスコアを使って、人が好む回答に向けて言語モデルを調整します。
教師ありファインチューニング(SFT)
教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
ファインチューニング
ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
AI アライメント
AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。

出典