本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

量子化

量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。

別名: quantized, 4-bit, Q4_K_M

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

大きなモデルが一般消費者向けのGPUやノートPCに収まる主な理由が量子化です。重みを16ビットではなく4ビットで保存すると、メモリはおよそ4分の1になります。

仕組み

各重みは16ビットの数値から、より小さな値の集合に対応付けられます。重みのブロックごとにスケール係数を保存しておき、推論時におおよそ復元できるようにします。学習後の手法では、再学習なしで学習後にこれを行います。2022年に発表されたGPTQは、GPT系のモデルを重みあたり3ビットまたは4ビットに量子化し、著者らの言う無視できる程度の精度低下にとどめます。

ラベルの読み方

llama.cppを中心とするGGUFのエコシステムでは、Q8_0、Q5_K_M、Q4_K_Mのような名前で方式を表します。数字はおおよそ重みあたりのビット数です。Kはk-quant系列を示し、S、M、Lは、敏感な一部の層を高い精度に保つ配合の小、中、大を表します。Q4_K_Mは、サイズと品質のバランスで人気のある選択です。

トレードオフ

ビット数が少ないほど品質の低下は大きくなります。8ビットは通常元のモデルに近く、4ビットはよく選ばれる最適なところで、それより下では、特に小さなモデルで品質が急に落ちます。量子化で小さくなるのは重みであり、KV cacheはそれも量子化しない限り小さくなりません。構成のサイズ見積もりにはGPU calculatorを使ってください。

関連用語

GGUF
GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
VRAM
VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
数値精度(FP16、BF16、FP8)
数値精度とは、モデルの重みを保存し計算を行うための数値形式で、FP32、FP16、BF16、FP8、INT4などがあります。数値あたりのビット数が少ないほどメモリが減り推論が速くなりますが、精度が落ちるおそれがあります。
モデルのパラメータ
モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
ローカルLLM
ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。

出典