本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

教師ありファインチューニング(SFT)

教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。

別名: SFT, instruction tuning

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

事前学習を終えたばかりのベースモデルは、インターネットのテキストの次のトークンを予測します。質問に答えたり形式に従ったりすることは確実にはできません。教師ありファインチューニングは、モデルに多数の実例を見せることでこれを直します。プロンプトと、人が望むとおりの応答です。モデルはその応答を再現するよう学習します。

学習パイプラインでの位置付け

ほとんどのチャットモデルが従うInstructGPTの手順では、SFTが最初に来ます。ラベラーが望ましい振る舞いの実例を書き、モデルをそれでファインチューニングしました。その後でようやくRLHFが来ます。人がモデルの出力を順位付けし、報酬モデルがその順位から学び、強化学習がSFTモデルをさらに調整しました。新しいパイプラインではRLHFをDPOに置き換えることが多いですが、SFTは今も出発点です。その出力がinstructモデルです。

開発者にとって

オープンなモデルを自分のデータでファインチューニングするとき、行っているのはほぼ必ずSFTです。データは入力と出力のペアのファイルで、多くの場合チャット形式です。量より質が重要で、通常は数千件のきれいで一貫した例が、大きくてノイズの多いセットに勝ります。TRLなどのライブラリはSFT用のトレーナーを提供しており、SFTはLoRAのようなパラメータ効率の良い手法と組み合わせることがよくあります。

限界

SFTはモデルに模倣を教えます。「この回答はあの回答より良い」ということは簡単には表現できず、それを加えるのが選好に基づく手法です。また、学習例の誤りや抜けを、モデルに自信ありげにまねさせてしまうこともあります。

関連用語

ファインチューニング
ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
インストラクトモデル
インストラクトモデル(instruct model)とは、ベースの言語モデルを、指示とよい回答の組み合わせ、多くの場合は人のフィードバックでもさらに学習させたモデルです。テキストの続きを書くだけでなく、依頼に従います。
RLHF
RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
直接選好最適化(DPO)
直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、言語モデルを人の選好に合わせる方法です。
パラメータ効率の良いファインチューニング(PEFT)
パラメータ効率の良いファインチューニング(parameter-efficient fine-tuning、PEFT)とは、事前学習済みモデルのうち、新しく加えた、または選んだ少数のパラメータだけを学習させ、残りを固定したまま適応させる手法です。完全なファインチューニングに必要なメモリ、計算、ストレージを削減します。
ベースモデル
ベースモデル(base model)とは、指示チューニングや人のフィードバックによる学習を受ける前の、事前学習を終えたばかりの言語モデルです。指示に従ったり会話をしたりするのではなく、与えられたテキストの続きを書きます。

出典