InklingのGPU要件:VRAMと最安GPU
Inklingのパラメータ数は9523.8億で、BF16で公開されています。 Mixture-of-Expertsモデルで、256個のエキスパートのうち6個が各トークンを処理します(約181億パラメータ)。そのため生成速度はおおむねその規模のモデル並みで す。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 apache-2.0で公開されており、商用利用が認められています。
- パラメータ数
- 9523.8億
- 最小メモリ(INT4)
- 約553 GB
- 最安GPUの1時間料金(FP16)
- –
- 種類
- ビジョン
thinkingmachines/Inkling
- パラメータ数 9523.8億
- トークンあたりのアクティブ数 181億
- 種類 ビジョン
- タスク image-text-to-text
- ライセンス apache-2.0
- ダウンロード数 130.3万
- いいね 1855
Inklingの計算結果
詳細設定
Inklingに必要なGPUメモリは約2,099 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。
メモリの内訳
- 重み 1,905 GB
- KVキャッシュ 2.2 GB
- ランタイムのオーバーヘッド 192 GB
- 合計 2,099 GB
GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
この設定で1ノードに収まるプランはありません。精度を下げるか、コンテキストを短くしてください。
この設定で1ノードに収まるプランはありません。精度を下げるか、コンテキストを短くしてください。
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。
精度と用途ごとのメモリ
| 精度 | 推論 | LoRAファインチューニング | QLoRAファインチューニング | フルファインチューニング |
|---|---|---|---|---|
| FP16 / BF16 | 2,099 GB | 2,441 GB | – | 16,772 GB |
| INT8 | 1,103 GB | – | – | – |
| INT4 | 553 GB | – | 895 GB | – |
精度別の最安GPU
8Kコンテキスト、同時リクエスト1件での推論。
FP16 / BF16
約2,099 GB · 8Kトークン
公開されたままの重み。劣化はありませんが、メモリは最も多く使います。
1ノードに収まるプランなし
INT8
約1,103 GB · 8Kトークン
重みは半分の大きさ。チャットやRAGではほとんど差が出ません。
7 × MI300X 192GB
RunPod (新しいタブで開きます) · 8x MI300X
8台単位での提供。必要なのは7台- GPU 1台 / 時間
- $2.39
- 必要な台数
- 7
- 合計 / 時間
- 約$19.12
- 月額(24時間稼働、概算)
- $13,958
INT4
約553 GB · 8Kトークン
重みは4分の1の大きさ。小さな劣化はまず数学やコードに表れます。
4 × MI300X 192GB
RunPod (新しいタブで開きます) · 4x MI300X
- GPU 1台 / 時間
- $2.39
- 必要な台数
- 4
- 合計 / 時間
- 約$9.56
- 月額(24時間稼働、概算)
- $6,979
推論とファインチューニング
推論 (FP16)
1×
(推論時のメモリ比)
2,099 GB
8台構成のノード1つでは足りません
LoRAファインチューニング
1.2×
(推論時のメモリ比)
2,441 GB
8台構成のノード1つでは足りません
QLoRAファインチューニング
0.4×
(推論時のメモリ比)
895 GB
6 × MI300X 192GB · 約$19.12
フルファインチューニング
8×
(推論時のメモリ比)
16,772 GB
8台構成のノード1つでは足りません
FP16での推論は8台構成のノード1つでは足りませんで足ります。LoRAは8台構成のノード1つでは足りません、QLoRAは6 × MI300X 192GB (RunPod)、フルファインチューニングは8台構成のノード1つでは足りませんが必要です。学習では重みに加えてアクティベーションとオプティマイザーの状態もメモリに置くため、同じモデルの推論より多くのGPUが要ることがよくあります。
MacやRTX 4090 1枚で動くか
RTX 4090(24GB)
1枚では動きません。INT4でも約553 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
Appleシリコン搭載Mac
現実的ではありません。INT4でも約553 GB必要で、最大構成のMacでもGPUに割り当てられる量を超えます。
似たモデル
規模が近いオープンモデル。
- Muse Spark Openビジョン8220.4億 · 約1,810 GB FP16 · 1.4万 ↓GPU要件
- DeepSeek-V4.1-Flashビジョン7632.1億 · 約1,681 GB FP16 · 139.3万 ↓GPU要件
- DeepSeek V4.1 Flash 1017ビジョン7632.1億 · 約1,681 GB FP16 · 50.5万 ↓GPU要件
- LongCat-2.5ビジョン1.8兆 · 約3,917 GB FP16 · 2830 ↓GPU要件
- MiniMax-M3ビジョン4270.4億 · 約942 GB FP16 · 10.5万 ↓GPU要件
- Qwen3.5-397B-A17Bビジョン4034億 · 約889 GB FP16 · 64.5万 ↓GPU要件
Inkling:よくある質問
Inklingに必要なVRAMは?
8Kコンテキスト、同時リクエスト1件で、FP16は約2,099 GB、INT8は約1,103 GB、INT4は約553 GBです。コンテキストを長くしたり同時リクエストを増やしたりすると、その分KVキャッシュが増えます。
Inklingを動かす最安のGPUは?
RunPodの7 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり; 8台単位での提供。必要なのは7台)で、INT8・8Kコンテキストの推論なら1時間あたり約$19.12です。価格は2026年11月16日時点で、頻繁に変わります。
InklingはGPU 1枚でファインチューニングできる?
GPU 1枚では無理です。QLoRAでも約895 GB必要で、80GBのGPUに収まりません。LoRAは約2,441 GB、フルファインチューニングは約16,772 GB必要です。
この数値はどう計算している?
重みはパラメータ数×1パラメータあたりのバイト数(FP16は2、INT8は1、INT4は0.5)です。KVキャッシュはモデルの層数、KVヘッド数、ヘッドサイズ、コンテキスト長から求めます。ランタイム用に約10%と1GBを加え、各GPUのメモリの90%まで使う前提です。価格は各プロバイダーの公開価格ページから集めた、米国リージョンのオンデマンド定価です。
InklingはRTX 4090のような一般向けGPUで動く?
1枚では動きません。INT4でも約553 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
InklingはH100 80GB 1枚に収まる?
収まりません。INT4でも約553 GB必要なので、複数のGPUが要ります。
InklingにはGPUが何台必要?
FP16、8Kコンテキストの場合、80GBなら30台、48GBなら49台、24GBなら98台です。INT4なら重みのメモリはおよそ4分の1になります。
INT8のInklingに必要なVRAMは?
約1,103 GBです。内訳は重み1,000 GB、8KのKVキャッシュ2.2 GB、ランタイムのオーバーヘッド101 GBです。
Inklingを1か月24時間動かすといくら?
私たちが見つけた最安の構成(7 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり; 8台単位での提供。必要なのは7台)、1時間$19.12×730時間)で約$13,958です。AWS、Google Cloud、Azureの最安は月約$83,171です。
FP16、INT8、INT4のどれを使うべき?
FP16は品質を保ったまま使えますが、メモリは最も多く必要です(ここでは約2,099 GB)。INT8は重みが半分になり、多くのチャット用途では品質の低下はわずかです。INT4(AWQ、GPTQ、GGUF Q4)は重みが4分の1になり、合計約553 GBですが、数学やコードで目立つ程度の小さな品 質低下があります。
InklingはMacで動く?
現実的ではありません。INT4でも約553 GB必要で、最大構成のMacでもGPUに割り当てられる量を超えます。
vLLMとllama.cppのどちら?
vLLMはNVIDIAやAMDのGPUで多数のリクエストを同時に処理するためのもので、GPUメモリの大半をKVキャッシュに確保します。llama.cppはGGUFファイルをMacやCPUを含むほぼあらゆる環境で動かせ、個人や小さなチームに向いています。同じ精度なら必要なメモリはほぼ同じです。
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。
計算方法
- 重み: パラメータ数×1パラメータあたりのバイト数。FP16は2、INT8は1、INT4は0.5で、INT8とINT4には量子化スケール分として約5%を加えます。
- KVキャッシュ: 2×層数×KVヘッド数×ヘッドサイズ×コンテキスト長×リクエスト数×2バイト。値はモデルのconfig.jsonから取ります。欠けている値は推定し、その旨を表示します。
- オーバーヘッド: 約10%に加えてランタイム用に1GB。vLLMが確保する量とほぼ同じです。
- ファインチューニング: LoRAは16ビットの重みに小さなアダプター、そのオプティマイザー、アクティベーションを加え ます。QLoRAは4ビットの重みで同じことをします。フルファインチューニングは混合精度のAdamで1パラメータあたり約16バイト(重み、勾配、オプティマイザーの状態)にアクティベーションが加わります。
- GPU: 各GPUのメモリの90%まで使う前提で、1ノード8台までとします。費用は米国リージョンのオンデマンド定価で、マーケットプレイス型のクラウドは中央値です。