小規模言語モデル(SLM)
小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。
別名: SLM
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
小規模言語モデルは、知識の幅をある程度犠牲にする代わりに、速さ、低コスト、ローカルのハードウェアで動く能力を得ています。分類、抽出、ルーティング、オートコンプリート、デバイス上のアシスタントなど、大規模言語モデルでは遅すぎたり高すぎたりするタスクに向いています。
性能を高める方法
小さなモデルは、丁寧に作られた学習データに頼ります。MicrosoftのPhi-3のレポートは、3.3兆トークンで学習した38億パラメータのモデルphi-3-miniについて説明しており、著者らはスマートフォンで動くほど小さいとしています。ほかに、小さな生徒モデルが大きな教師モデルから学ぶ知識蒸留で作られるものもあります。
動かし方
量子化を使えば小さなモデルは数ギガバイトのメモリに収まるため、Ollamaやllama.cppなどのツールでノートPC上で動かせます。あるサイズにどれだけのメモリが必要かはGPU calculatorで確認できます。
限界
小規模と大規模の間に、合意されたサイズの境界はありません。小さなモデルは世界についての知識が少なく、長い複数ステップの推論が苦手で、プロンプトの言い回しの影響を受けやすい傾向があります。よくあるパターンは、簡単なリクエストを小さなモデルに、難しいリクエストを大きなモデルに送ることです。
関連用語
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- 知識蒸留
- 知識蒸留(knowledge distillation)とは、小さな生徒モデルに大きな教師モデルの出力をまねさせる学習方法です。教師の能力の多くを低いコストで保った蒸留モデルができます。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
- モデルのパラメータ
- モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。