本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

GGUF

GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。

別名: GGUF file

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

ローカルで動かすためにモデルをダウンロードすると、末尾が .gguf のファイルをよく目にします。この形式は、llama.cpp の背後にあるテンソルライブラリである GGML プロジェクトから生まれたもので、Ollama や LM Studio でも使われています。

中身

GGUF ファイルには、モデルのテンソルに加えて、アーキテクチャ、トークナイザー、コンテキスト長、量子化の詳細といったキーと値のメタデータが入っています。仕様は単一ファイルでのデプロイを目標に掲げているので、追加の設定ファイルなしでモデルを読み込めます。モデルは通常 PyTorch で学習させてから GGUF に変換します。

GGUF と量子化

GGUF はフル精度の重みも保存できますが、ダウンロードされる GGUF のほとんどは量子化されています。1 つのモデルが Q8_0、Q5_K_M、Q4_K_M など複数のファイルで公開されることが多く、それぞれサイズと品質のバランスが異なります。コンテキスト用の余裕を残してメモリに収まる、最も大きなものを選んでください。GPU 計算ツールが役に立ちます。

GGUF と safetensors の違い

Safetensors は、Hugging Face でフル精度の重みに使われる一般的な形式で、Python のライブラリや vLLM などの GPU サーバーで使われます。GGUF が対象とするのは、ローカルでの、CPU でも扱いやすく、Apple Silicon でも動く推論です。2 つは異なる実行環境に向けたもので、変換スクリプトでモデルを相互に移せます。

関連用語

量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
Safetensors
Safetensorsとは、Hugging Faceによるモデルの重みを保存するためのファイル形式です。Pythonのpickleファイルと異なり、読み込み時に隠れたコードが実行されることはなく、個々のテンソルをメモリマップで高速に読み込めます。
ローカルLLM
ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
セルフホスティング(AIモデル)
AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。

出典