ファインチューニング
ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
別名: finetuning
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
事前学習済みのモデルは、非常に大きなコーパスから一般的な言語を学んでいます。ファインチューニングはその重みを受け継ぎ、選んだ例で学習を続けます。チームと同じように回答したサポートチケット、社内のスタイルで書かれたコード、決まった形式の医療記録などです。学習のループは事前学習と同じです。違いは、ランダムな重みではなく動くモデルから始めることで、そのため必要なデータと計算ははるかに少なくて済みます。
ファインチューニングの種類
教師ありファインチューニングは、入力と望ましい出力のペアで学習させます。RLHF や DPO などの選好チューニングは、2 つの回答のうち人がどちらを好んだかで学習させます。フルファインチューニングはすべての重みを更新します。LoRA などのパラメーター効率のよい手法は、ベースモデルを凍結したまま小さな追加部分を学習させるので、メモリを減らせ、1 つのベースモデ ルに多くのアダプターを持てます。
使うべきとき
ファインチューニングは振る舞いを教えるのに向いています。一貫した出力形式、範囲の狭い分類タスク、社内の文体、あるいは小さなモデルに 1 つの仕事を大きなモデルと同じくらいうまくこなさせることです。頻繁に変わる事実を加える方法としては不向きです。知識は学習時点で固定され、中身を確認しにくいからです。その目的には、通常は検索拡張生成が最初の一手として適しており、多くのチームはそのどちらよりも先に、丁寧なプロンプト作成を試します。
限界
きれいで代表的な例、学習から除外した評価用データ、ベースモデルが更新されたときに再学習する計画が必要です。また、狭いデータで強く学習させすぎると、モデルが一般的な技能を忘れることがあります。ファインチューニング工程のガイドには、Unsloth や Axolotl などのツールを掲載しています。
関連用語
- LoRA
- LoRA(low-rank adaptation、低ランク適応)とは、モデルの元の重みを固定し、各層に追加した小さな低ランク行列を学習させるファインチューニング手法です。変更されるパラメータがはるかに少なく、必要なGPUメモリも大幅に減ります。
- 教師ありファインチューニング(SFT)
- 教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- 直接選好最適化(DPO)
- 直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペ アで直接学習させて、言語モデルを人の選好に合わせる方法です。
- 事前学習
- 事前学習(pretraining)とは、モデルの学習の最初で最大の段階で、タスク固有の調整を行う前に、ラベルのない非常に大きなデータセットから、通常は次のトークンを予測することで一般的なパターンを学ぶことです。
- パラメータ効率の良いファインチューニング(PEFT)
- パラメータ効率の良いファインチューニング(parameter-efficient fine-tuning、PEFT)とは、事前学習済みモデルのうち、新しく加えた、または選んだ少数のパラメータだけを学習させ、残りを固定したまま適応させる手法です。完全なファインチューニングに必要なメモリ、計算、ストレージを削減します。