本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

知識蒸留

知識蒸留(knowledge distillation)とは、小さな生徒モデルに大きな教師モデルの出力をまねさせる学習方法です。教師の能力の多くを低いコストで保った蒸留モデルができます。

別名: distilled model, distillation

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

多くの小規模言語モデルは、蒸留によって性能を高めています。生のデータだけから学ぶのではなく、より強いモデルの振る舞いから学ぶのです。

仕組み

この考え方は、2015 年に Hinton、Vinyals、Dean が示しました。大きなモデルやモデルのアンサンブルが持つ知識を、デプロイしやすい 1 つの小さなモデルに圧縮できることを示したのです。古典的な形では、生徒は 1 つの正解ラベルだけでなく、答え全体にわたる教師の確率分布、つまりソフトターゲットに合わせるよう学習します。その確率には、どの誤答がほぼ正しいかという追加の情報が含まれています。

言語モデルで現在よく使われる形はもっと単純です。教師が回答や推論の過程を生成し、生徒はそれを合成データとしてファインチューニングされます。

例

名前に「Distill」を含むモデルは、通常、小さなオープンモデルを大きなモデルの出力でファインチューニングしたものです。たとえば DeepSeek は、大きな R1 モデルの推論パターンを小さなモデルに蒸留したと報告しています。

限界

難しいタスクや珍しいタスクで、生徒が教師に並ぶことはまれです。また、商用モデルの出力から蒸留すると、その提供元の利用規約に違反する場合があるので、まず規約を確認してください。

関連用語

小規模言語モデル(SLM)
小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。
ファインチューニング
ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
合成データ
合成データ(synthetic data)とは、現実の情報源から集めるのではなく、ソフトウェア、多くの場合は別のAIモデルによって生成された学習用またはテスト用のデータです。不足を埋める、例を安く追加する、実際の個人データの露出を避けるといった目的で使われます。
教師ありファインチューニング(SFT)
教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
推論モデル
推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。

出典