本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

ONNX

ONNX(Open Neural Network Exchange)とは、機械学習モデルのためのオープンなファイル形式です。モデルを標準的な演算子のグラフとして記述するため、あるフレームワークで学習し、別の環境で実行できます。

別名: Open Neural Network Exchange, .onnx

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

モデルは通常PyTorchのようなフレームワークで学習しますが、実行したい場所はスマートフォン、ブラウザ、Pythonのないサーバー、独自のランタイムを持つチップかもしれません。ONNXはその両者をつなぐ共通の形式です。モデルを一度.onnxファイルに書き出せば、ONNXに対応したどのランタイムでも読み込めます。

仕組み

ONNXファイルは計算グラフを保持します。行列積やsoftmaxなどの演算のノード、それらの間の接続、そしてモデルの重みです。演算子はopsetと呼ばれるバージョン管理された標準セットから取られるため、ランタイムは各ノードの意味を正確に把握できます。最も使われているエンジンはONNX Runtimeで、グラフの一部をGPU、NPU、その他のアクセラレーターに任せられます。

使われる場面

ONNXは、多くのデバイスで高速に動かす必要がある小さめのモデルでよく使われます。埋め込みモデル、リランカー、画像や音声のモデル、ブラウザで動くモデルなどです。最大級のLLMの提供ではあまり使われず、vLLMのような専用エンジンやGGUFベースの実行ツールが通常は重みを直接読み込みます。

Safetensorsとの違い

Safetensorsは重みだけを保存するため、モデルを定義するコードが別に必要です。ONNXは重みと演算のグラフを保存するため、ファイルがモデル全体を記述します。そのため移植性は高いのですが、珍しい層では書き出しに失敗することがあり、実行時に形状が変わるモデルは書き出しが難しい場合があります。

限界

すべてのランタイムがすべての演算子やopsetのバージョンに対応しているわけではなく、量子化したONNXモデルはハードウェアによって挙動が異なることがあります。公開する前に、書き出したモデルを元のモデルと比較してテストしてください。

関連用語

モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
Safetensors
Safetensorsとは、Hugging Faceによるモデルの重みを保存するためのファイル形式です。Pythonのpickleファイルと異なり、読み込み時に隠れたコードが実行されることはなく、個々のテンソルをメモリマップで高速に読み込めます。
GGUF
GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
推論
推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
NPU
NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。

出典