本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

パラメータ効率の良いファインチューニング(PEFT)

パラメータ効率の良いファインチューニング(parameter-efficient fine-tuning、PEFT)とは、事前学習済みモデルのうち、新しく加えた、または選んだ少数のパラメータだけを学習させ、残りを固定したまま適応させる手法です。完全なファインチューニングに必要なメモリ、計算、ストレージを削減します。

別名: PEFT

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

完全なファインチューニングは、モデルのすべての重みを更新します。数十億のパラメータを持つモデルでは複数の大型GPUが必要で、ファインチューニングしたコピーはそれぞれ元のモデルと同じ大きさになります。PEFTの手法は、ベースモデルを固定し、小さな追加部分を学習させることでこれを避けます。

仕組み

最もよく知られた手法はLoRAで、既存の重み行列の隣に小さな低ランク行列を追加し、それだけを学習させます。ほかの系統には、学習可能な短い「ソフトプロンプト」を入力に加えるもの(prompt tuning、prefix tuning)、既存の層の間に小さなアダプター層を挿入するもの、既存の重みの一部だけを学習させるものがあります。QLoRAはLoRAと量子化したベースモデルを組み合わせ、多くのモデルサイズで学習を一般消費者向けの1枚のGPUに収めます。

結果は通常、数メガバイトから数百メガバイトのファイルで、ベースモデルの上に読み込みます。1つのベースモデルで、顧客やタスクごとの多数のアダプターを提供できます。

なぜ重要か

PEFTがあるからこそ、オープンなモデルのファインチューニングを控えめなハードウェアで実用的に行えます。Hugging Face PEFT、Unsloth、LLaMA-Factoryなどのライブラリがこれらの手法をまとめています。限定されたタスクでの品質は、完全なファインチューニングに近いことがよくあります。

限界

PEFTは挙動やスタイルをうまく変えられますが、大量の新しい知識を加える方法としては弱いものです。その目的には通常、検索拡張生成の方が適しています。アダプターは学習に使った特定のベースモデルに結び付いており、別のモデルでは動きません。

関連用語

LoRA
LoRA(low-rank adaptation、低ランク適応)とは、モデルの元の重みを固定し、各層に追加した小さな低ランク行列を学習させるファインチューニング手法です。変更されるパラメータがはるかに少なく、必要なGPUメモリも大幅に減ります。
ファインチューニング
ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
教師ありファインチューニング(SFT)
教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。

出典