本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

モデルのパラメータ

モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。

別名: parameter count, 7B, total vs active parameters

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

モデルがLlama 7BやQwen 72Bと呼ばれるとき、その数字は10億単位のパラメータ数です。たとえばMetaが最初に公開したLLaMAは、7Bから65Bのパラメータのモデルで構成されていました。

規模からわかること

パラメータが多いほど通常は知識と能力の容量が大きくなりますが、学習データと学習方法も同じくらい重要です。LLaMAの論文では、13Bのモデルがほとんどのベンチマークで175BのGPT-3を上回ったと報告しています。規模は大まかな目安であり、順位ではありません。

メモリ

モデルに必要なメモリ量は、パラメータ数で決まります。各パラメータは16-bit、8-bit、4-bitなどの精度で保存されるため、メモリはおおよそパラメータ数×パラメータあたりのバイト数に、KV cacheの分を加えたものになります。4ビットへの量子化で、重みのメモリは16ビットの場合の約4分の1になります。この計算はGPU calculatorで行えます。

総パラメータとアクティブパラメータ

Mixture of expertsモデルでは、トークンごとに一部のパラメータだけが動きます。35B-A3Bのような名前は、総パラメータが350億で、アクティブが約30億であることを意味します。速度を決めるのはアクティブパラメータですが、すべてのパラメータがVRAMに収まる必要があります。

関連用語

Mixture of experts(MoE)
Mixture of experts(MoE、混合エキスパート)とは、各層に複数のエキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。
VRAM
VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
数値精度(FP16、BF16、FP8)
数値精度とは、モデルの重みを保存し計算を行うための数値形式で、FP32、FP16、BF16、FP8、INT4などがあります。数値あたりのビット数が少ないほどメモリが減り推論が速くなりますが、精度が落ちるおそれがあります。
小規模言語モデル(SLM)
小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。

出典