GGUF
GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
別名: GGUF file
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ローカルで動かすためにモデルをダウンロードすると、末尾が .gguf のファイルをよく目にします。この形式は、llama.cpp の背後にあるテンソルライブラリである GGML プロジェクトから生まれたもので、Ollama や LM Studio でも使われています。
中身
GGUF ファイルには、モデルのテンソルに加えて、アーキテクチャ、トークナイザー、コンテキスト長、量子化の詳細といったキーと値のメタデータが入っています。仕様は単一ファイルでのデプロイを目標に掲げているので、追加の設定ファイルなしでモデルを読み込めます。モデルは通常 PyTorch で学習させてから GGUF に変換します。
GGUF と量子化
GGUF はフル精度の重みも保存できますが、ダウンロードされる GGUF のほとんどは量子化されています。1 つのモデルが Q8_0、Q5_K_M、Q4_K_M など複数のファイルで公開されることが多く、それぞれサイズと品質のバランスが異なります。コンテキスト用の余裕を残してメモリに収まる、最も大きなも のを選んでください。GPU 計算ツールが役に立ちます。
GGUF と safetensors の違い
Safetensors は、Hugging Face でフル精度の重みに使われる一般的な形式で、Python のライブラリや vLLM などの GPU サーバーで使われます。GGUF が対象とするのは、ローカルでの、CPU でも扱いやすく、Apple Silicon でも動く推論です。2 つは異なる実行環境に向けたもので、変換スクリプトでモデルを相互に移せます。
関連用語
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
- Safetensors
- Safetensorsとは、Hugging Faceによるモデルの重みを保存するためのファイル形式です。Pythonのpickleファイルと異なり、読み込み時に隠れたコードが実行されることはなく、個々のテンソルをメモリマップで高速に読み込めます。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
- モデルの重み
- モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
- セルフホスティング(AIモデル)
- AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。