モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
別名: weights, checkpoint, parameters file
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ニューラルネットワークは層からなる固定の構造で、重みはそれらの層の中の値です。学習では、モデルの出力が良くなるまで重みを調整します。ラボが「重みを公開した」というのは、その数値をダウンロードして自分でモデルを動かせるという意味です。重みの数がモデルのパラメータ数です。
チェックポイントの中身
PyTorchでは、重みはstate_dictに格納されます。各層をそのテンソルに対応付ける辞書です。チェックポイントはこれを保存したもので、学習を再開できるようにオプティマイザーの状態を含むこともあります。Hugging Face上のモデルファイルは通常いくつかのシャードに分割され、アーキテクチャを記述した設定ファイルとトークナイザーが付いています。対応するアーキテクチャのコードとトークナイザーがなければ、重みだけでは動きません。
形式
主な形式には、PyTorchのpickleベースのファイル、Safetensors、llama.cppのようなローカル実行ツール向けのGGUF、ONNXがあります。形式は安全性、読み込み速度、どのツールで読めるかに影響します。
サイズと精度
ファイルサイズはおおよそパラメータ数×重みあたりのバイト数です。重みを低い精度で保存したり量子化したりすると、ファイルと実行に必要なメモリが小さくなりますが、品質は多少落ちます。
重みとオープンソースの違い
重みがあることは、すべてがそろっていることと同じではありません。オープンウェイトモデルは、学習データやコードなしで、制限付きのライセンスの下で提供されることがあります。Open Source Initiativeの定義では、パラメータは共有すべき要素の1つにすぎないとしています。
関連用語
- オープンウェイトモデル
- オープンウェイトモデル(open-weight model)とは、学習済みの重みが公開され、誰でもダウンロードして実行できるモデルです。学習コードや学習データ全体は含まれないことが多く、必ずしもオープンソースではありません。
- Safetensors
- Safetensorsとは、Hugging Faceによるモデルの重みを保存するためのファイル形式です。Pythonのpickleファイルと異なり、読み込み時に隠れたコードが実行されることはなく、個々のテンソルをメモリマップで高速に読み込めます。
- モデルのパラメータ
- モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
- GGUF
- GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
- 数値精度(FP16、BF16、FP8)
- 数値精度とは、モデルの重みを保存し計算を行うための数値形式で、FP32、FP16、BF16、FP8、INT4などがあります。数値あたりのビット数が少ないほどメモリが減り推論が速くなりますが、精度が落ちるおそれがあります。
- モデルライセンス
- モデルライセンスとは、モデルの重み、場合によってはコードやデータを、どのように使用、変更、共有してよいかを定めた法的な条件です。条件は、寛容なオープンライセンスから、非商用や独自の制限付きのものまでさまざまです。