数値精度(FP16、BF16、FP8)
数値精度とは、モデルの重みを保存し計算を行うための数値形式で、FP32、FP16、BF16、FP8、INT4などがあります。数値あたりのビット数が少ないほどメモリが減り推論が速くなりますが、精度が落ちるおそれがあります。
別名: FP8, BF16, FP16, FP4, INT8, INT4, FP32, bfloat16
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
モデルの重みはすべて数値であり、その数値の形式がモデルの使うメモリ量を決めます。16ビット形式は重み1つあたり2バイト、8ビット形式は1バイト、4ビット形式は0.5バイトを使います。そのため、モデルがVRAMに収まるかを見積もるときは、まず精度を確認します。この計算はGPU calculatorで行えます。
主な形式
FP32は完全な単精度で、主に学習で使われます。FP16はサイズを半分にしますが範囲が狭く、非常に大きい値や小さい値はオーバーフローすることがあります。BF16(bfloat16、Googleが設計)はFP32と同じ8ビットの指数部を保ち、代わりに仮数部のビットを削っているため、FP32と同じ範囲を持ちつつ細かさが落ちます。このため、現在のモデルの学習と提供では通常の標準になっています。
FP8は1バイトまで下げた形式です。FP8の規格は2つの種類を定めています。精度を重視したE4M3と、範囲を重視したE5M2です。最近のデータセンター向けGPUはFP8をネイティブに処理します。最新のハードウェアでは、FP4形式でさらに先へ進んでいます。
INT8とINT4は整数形式です。重みは少数の整数とスケール係数に対応付けられます。実務で量子化といえば通常これを指し、ローカル利用向けのGGUFなどのファイルが保存しているのもこの形式です。
トレードオフ
精度を下げるとメモリを節約でき、1秒あたりのトークン数も上がることが多いですが、1段階下げるごとに情報が失われます。影響はモデルと手法によって異なります。8ビットは通常元のモデルに近く、4ビット以下では推論や長いコンテキストのタスクに悪影響が出ることがあります。ハードウェアの対応も重要です。GPUがネイティブに計算できない形式はその場で変換されることがあり、高速化はほとんど得られません。
関連用語
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
- VRAM
- VRAMとは、グラフィック スカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- GGUF
- GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
- モデルの重み
- モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。