本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

InklingのGPU要件:VRAMと最安GPU

Inklingのパラメータ数は9523.8億で、BF16で公開されています。 Mixture-of-Expertsモデルで、256個のエキスパートのうち6個が各トークンを処理します(約181億パラメータ)。そのため生成速度はおおむねその規模のモデル並みです。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 apache-2.0で公開されており、商用利用が認められています。

パラメータ数
9523.8億
最小メモリ(INT4)
約553 GB
最安GPUの1時間料金(FP16)
–
種類
ビジョン
  • パラメータ数 9523.8億
  • トークンあたりのアクティブ数 181億
  • 種類 ビジョン
  • タスク image-text-to-text
  • ライセンス apache-2.0
  • ダウンロード数 130.3万
  • いいね 1855

Inklingの計算結果

精度
用途
詳細設定
推論エンジン
同時リクエスト数

Inklingに必要なGPUメモリは約2,099 GB

推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。

メモリの内訳

  • 重み 1,905 GB
  • KVキャッシュ 2.2 GB
  • ランタイムのオーバーヘッド 192 GB
  • 合計 2,099 GB

GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。

この設定で1ノードに収まるプランはありません。精度を下げるか、コンテキストを短くしてください。

この設定で1ノードに収まるプランはありません。精度を下げるか、コンテキストを短くしてください。

価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。

精度と用途ごとのメモリ

コンテキスト8Kトークン、同時リクエスト1件の場合。LoRAとフルファインチューニングは16ビットの重み、QLoRAは4ビットの重みから始めるため、それ以外の欄は空欄です。
精度推論LoRAファインチューニングQLoRAファインチューニングフルファインチューニング
FP16 / BF162,099 GB2,441 GB–16,772 GB
INT81,103 GB–––
INT4553 GB–895 GB–

精度別の最安GPU

8Kコンテキスト、同時リクエスト1件での推論。

FP16 / BF16

約2,099 GB · 8Kトークン

公開されたままの重み。劣化はありませんが、メモリは最も多く使います。

1ノードに収まるプランなし

INT8

約1,103 GB · 8Kトークン

重みは半分の大きさ。チャットやRAGではほとんど差が出ません。

7 × MI300X 192GB

RunPod (新しいタブで開きます) · 8x MI300X

8台単位での提供。必要なのは7台
GPU 1台 / 時間
$2.39
必要な台数
7
合計 / 時間
約$19.12
月額(24時間稼働、概算)
$13,958

INT4

約553 GB · 8Kトークン

重みは4分の1の大きさ。小さな劣化はまず数学やコードに表れます。

4 × MI300X 192GB

RunPod (新しいタブで開きます) · 4x MI300X

GPU 1台 / 時間
$2.39
必要な台数
4
合計 / 時間
約$9.56
月額(24時間稼働、概算)
$6,979

推論とファインチューニング

  • 推論 (FP16)

    1×

    (推論時のメモリ比)

    2,099 GB

    8台構成のノード1つでは足りません

  • LoRAファインチューニング

    1.2×

    (推論時のメモリ比)

    2,441 GB

    8台構成のノード1つでは足りません

  • QLoRAファインチューニング

    0.4×

    (推論時のメモリ比)

    895 GB

    6 × MI300X 192GB · 約$19.12

  • フルファインチューニング

    8×

    (推論時のメモリ比)

    16,772 GB

    8台構成のノード1つでは足りません

FP16での推論は8台構成のノード1つでは足りませんで足ります。LoRAは8台構成のノード1つでは足りません、QLoRAは6 × MI300X 192GB (RunPod)、フルファインチューニングは8台構成のノード1つでは足りませんが必要です。学習では重みに加えてアクティベーションとオプティマイザーの状態もメモリに置くため、同じモデルの推論より多くのGPUが要ることがよくあります。

MacやRTX 4090 1枚で動くか

RTX 4090(24GB)

1枚では動きません。INT4でも約553 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。

Appleシリコン搭載Mac

現実的ではありません。INT4でも約553 GB必要で、最大構成のMacでもGPUに割り当てられる量を超えます。

似たモデル

規模が近いオープンモデル。

別のモデルを計算する

Inkling:よくある質問

Inklingに必要なVRAMは?

8Kコンテキスト、同時リクエスト1件で、FP16は約2,099 GB、INT8は約1,103 GB、INT4は約553 GBです。コンテキストを長くしたり同時リクエストを増やしたりすると、その分KVキャッシュが増えます。

Inklingを動かす最安のGPUは?

RunPodの7 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり; 8台単位での提供。必要なのは7台)で、INT8・8Kコンテキストの推論なら1時間あたり約$19.12です。価格は2026年11月16日時点で、頻繁に変わります。

InklingはGPU 1枚でファインチューニングできる?

GPU 1枚では無理です。QLoRAでも約895 GB必要で、80GBのGPUに収まりません。LoRAは約2,441 GB、フルファインチューニングは約16,772 GB必要です。

この数値はどう計算している?

重みはパラメータ数×1パラメータあたりのバイト数(FP16は2、INT8は1、INT4は0.5)です。KVキャッシュはモデルの層数、KVヘッド数、ヘッドサイズ、コンテキスト長から求めます。ランタイム用に約10%と1GBを加え、各GPUのメモリの90%まで使う前提です。価格は各プロバイダーの公開価格ページから集めた、米国リージョンのオンデマンド定価です。

InklingはRTX 4090のような一般向けGPUで動く?

1枚では動きません。INT4でも約553 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。

InklingはH100 80GB 1枚に収まる?

収まりません。INT4でも約553 GB必要なので、複数のGPUが要ります。

InklingにはGPUが何台必要?

FP16、8Kコンテキストの場合、80GBなら30台、48GBなら49台、24GBなら98台です。INT4なら重みのメモリはおよそ4分の1になります。

INT8のInklingに必要なVRAMは?

約1,103 GBです。内訳は重み1,000 GB、8KのKVキャッシュ2.2 GB、ランタイムのオーバーヘッド101 GBです。

Inklingを1か月24時間動かすといくら?

私たちが見つけた最安の構成(7 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり; 8台単位での提供。必要なのは7台)、1時間$19.12×730時間)で約$13,958です。AWS、Google Cloud、Azureの最安は月約$83,171です。

FP16、INT8、INT4のどれを使うべき?

FP16は品質を保ったまま使えますが、メモリは最も多く必要です(ここでは約2,099 GB)。INT8は重みが半分になり、多くのチャット用途では品質の低下はわずかです。INT4(AWQ、GPTQ、GGUF Q4)は重みが4分の1になり、合計約553 GBですが、数学やコードで目立つ程度の小さな品質低下があります。

InklingはMacで動く?

現実的ではありません。INT4でも約553 GB必要で、最大構成のMacでもGPUに割り当てられる量を超えます。

vLLMとllama.cppのどちら?

vLLMはNVIDIAやAMDのGPUで多数のリクエストを同時に処理するためのもので、GPUメモリの大半をKVキャッシュに確保します。llama.cppはGGUFファイルをMacやCPUを含むほぼあらゆる環境で動かせ、個人や小さなチームに向いています。同じ精度なら必要なメモリはほぼ同じです。

価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。

計算方法

  • 重み: パラメータ数×1パラメータあたりのバイト数。FP16は2、INT8は1、INT4は0.5で、INT8とINT4には量子化スケール分として約5%を加えます。
  • KVキャッシュ: 2×層数×KVヘッド数×ヘッドサイズ×コンテキスト長×リクエスト数×2バイト。値はモデルのconfig.jsonから取ります。欠けている値は推定し、その旨を表示します。
  • オーバーヘッド: 約10%に加えてランタイム用に1GB。vLLMが確保する量とほぼ同じです。
  • ファインチューニング: LoRAは16ビットの重みに小さなアダプター、そのオプティマイザー、アクティベーションを加えます。QLoRAは4ビットの重みで同じことをします。フルファインチューニングは混合精度のAdamで1パラメータあたり約16バイト(重み、勾配、オプティマイザーの状態)にアクティベーションが加わります。
  • GPU: 各GPUのメモリの90%まで使う前提で、1ノード8台までとします。費用は米国リージョンのオンデマンド定価で、マーケットプレイス型のクラウドは中央値です。