Inkling SmallのGPU要件:VRAMと最安GPU
Inkling Smallのパラメータ数は2659.6億で、BF16で公開されています。 Mixture-of-Expertsモデルで、256個のエキスパートのうち6個が各トークンを処理します(約17.2億パラメータ)。そのため生成速度はおおむねその規模のモデル並みです。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 apache-2.0で公開されており、商用利用が認められています。
- パラメータ数
- 2659.6億
- 最小メモリ(INT4)
- 約156 GB
- 最安GPUの1時間料金(FP16)
- $2.39
- 種類
- ビジョン
thinkingmachines/Inkling-Small
- パラメータ数 2659.6億
- トークンあたりのアクティブ数 17.2億
- 種類 ビジョン
- タスク image-text-to-text
- ライセンス apache-2.0
- ダウンロード数 91.6万
- いいね 460
Inkling Smallの計算結果
詳細設定
Inkling Smallに必要なGPUメモリは約588 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。
メモリの内訳
- 重み 532 GB
- KVキャッシュ 1.4 GB
- ランタイムのオーバーヘッド 54 GB
- 合計 588 GB
GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
| 順位 | 構成 | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) | プロバイダー |
|---|---|---|---|---|---|---|
| 1 | 4 × MI300X 192GB最安CDNA 3 · HBM3 | $2.39 | 4 | $9.56 | $6,979 | RunPod (新しいタブで開きます)4x MI300X |
| 2 | 7 × RTX PRO 6000 96GBBlackwell · GDDR7 | $1.80 | 78台単位での提供。必要なのは7台 | $14.40 | $10,512 | Nebius (新しいタブで開きます)8x RTX PRO 6000 96GB |
| 3 | 7 × H100 NVL 94GBHopper · HBM3 | $3.19 | 78台単位での提供。必要なのは7台 | $25.52 | $18,630 | RunPod (新しいタブで開きます)8x H100 NVL |
| 4 | 5 × H200 141GBHopper · HBM3e | $3.79 | 58台単位での提供。必要なのは5台 | $30.32 | $22,134 | RunPod (新しいタブで開きます)8x H200 NVL |
| 5 | 4 × B200 180GBBlackwell · HBM3e | $7.79 | 4 | $31.16 | $22,747 | Lambda (新しいタブで開きます)4x B200 SXM6 |
| 6 | 3 × B300 288GBBlackwell Ultra · HBM3e | $8.99 | 34台単位での提供。必要なのは3台 | $35.96 | $26,251 | RunPod (新しいタブで開きます)4x B300 |
| 7 | 4 × GB200 186GBBlackwell · HBM3e | $10.50 | 4 | $42.00 | $30,660 | CoreWeave (新しいタブで開きます)GB200 NVL72 |
| 8台超:複数ノードが必要: H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| プロバイダー | インスタンス | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) |
|---|---|---|---|---|---|
| RunPod (新しいタブで開きます)最安 | 4x MI300Xus | $2.39 | 4 × MI300X 192GB | 約$9.56 | 約$6,979 |
| Nebius (新しいタブで開きます) | 8x RTX PRO 6000 96GBeu/us | $1.80 | 7 × RTX PRO 6000 96GB 8台単位での提供。必要なのは7台 | 約$14.40 | 約$10,512 |
| Vast.ai (新しいタブで開きます) | 8x RTX PRO 6000 S (median of 4 offers)世界中のマーケットプレイス | $2.23 | 7 × RTX PRO 6000 96GB 8台単位での提供。必要なのは7台 | 約$17.87 | 約$13,045 |
| CoreWeave (新しいタブで開きます) | RTX PRO 6000 Blackwell Server Edition (High Memory)us | $2.50 | 7 × RTX PRO 6000 96GB 8台単位での提供。必要なのは7台 | 約$20.00 | 約$14,600 |
| Lambda (新しいタブで開きます) | 4x B200 SXM6us | $7.79 | 4 × B200 180GB | 約$31.16 | 約$22,747 |
| Vultr (新しいタブで開きます) | vbm-256c-2048gb-8-mi300x-gpu (bare metal)us | $3.99 | 4 × MI300X 192GB 8台単位での提供。必要なのは4台 | 約$31.92 | 約$23,302 |
| AWS (新しいタブで開きます) | g7e.48xlargeus-east-1 | $4.14 | 7 × RTX PRO 6000 96GB 8台単位での提供。必要なのは7台 | 約$33.14 | 約$24,195 |
| Google Cloud (新しいタブで開きます) | g4-standard-384us-central1 | $4.50 | 7 × RTX PRO 6000 96GB 8台単位での提供。必要なのは7台 | 約$36.00 | 約$26,280 |
| Azure (新しいタブで開きます) | ND128isr_NDR_GB200_v6eastus | $27.04 | 4 × GB200 186GB | 約$108.16 | 約$78,957 |
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。
精度と用途ごとのメモリ
| 精度 | 推論 | LoRAファインチューニング | QLoRAファインチューニング | フルファインチューニング |
|---|---|---|---|---|
| FP16 / BF16 | 588 GB | 684 GB | – | 4,686 GB |
| INT8 | 310 GB | – | – | – |
| INT4 | 156 GB | – | 253 GB | – |
精度別の最安GPU
8Kコンテキスト、同時リクエスト1件での推論。
FP16 / BF16
約588 GB · 8Kトークン
公開されたままの重み。劣化はありませんが、メモリは最も多く使います。
4 × MI300X 192GB
RunPod (新しいタブで開きます) · 4x MI300X
- GPU 1台 / 時間
- $2.39
- 必要な台数
- 4
- 合計 / 時間
- 約$9.56
- 月額(24時間稼働、概算)
- $6,979
INT8
約310 GB · 8Kトークン
重みは半分の大きさ。チャットやRAGではほとんど差が出ません。
8 × A40 48GB
RunPod (新しいタブで開きます) · 8x A40
- GPU 1台 / 時間
- $0.59
- 必要な台数
- 8
- 合計 / 時間
- 約$4.72
- 月額(24時間稼働、概算)
- $3,446
INT4
約156 GB · 8Kトークン
重みは4分の1の大きさ。小さな劣化はまず数学やコードに表れます。
4 × A40 48GB
RunPod (新しいタブで開きます) · 4x A40
- GPU 1台 / 時間
- $0.59
- 必要な台数
- 4
- 合計 / 時間
- 約$2.36
- 月額(24時間稼働、概算)
- $1,723
推論とファインチューニング
推論 (FP16)
1×
(推論時のメモリ比)
588 GB
4 × MI300X 192GB · 約$9.56
LoRAファインチューニング
1.2×
(推論時のメモリ比)
684 GB
4 × MI300X 192GB · 約$9.56
QLoRAファインチューニング
0.4×
(推論時のメモリ比)
253 GB
6 × A40 48GB · 約$4.72
フルファインチューニング
8×
(推論時のメモリ比)
4,686 GB
8台構成のノード1つでは足りません
FP16での推論は4 × MI300X 192GB (RunPod)で足ります。LoRAは4 × MI300X 192GB (RunPod)、QLoRAは6 × A40 48GB (RunPod)、フルファインチューニングは8台構成のノード1つでは足りませんが必要です。学習では重みに加えてアクティベーションとオプティマイザーの状態もメモリに置くため、同じモデルの推論より多くのGPUが要ることがよくあります。
MacやRTX 4090 1枚で動くか
RTX 4090(24GB)
1枚では動きません。INT4でも約156 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
Appleシリコン搭載Mac
はい、メモリが十分にあれば動きます。INT4で約156 GB必要なので、ユニファイドメモリ256GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。
似たモデル
規模が近いオープンモデル。
- MiniMax-M3.1-Flashビジョン2204.9億 · 約487 GB FP16 · 15万 ↓GPU要件
- GLM-5.3-Flashビジョン3213.2億 · 約708 GB FP16 · 639.8万 ↓GPU要件
- Command A+ビジョン2187.5億 · 約483 GB FP16 · 8883 ↓GPU要件
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)ビジョン1966.1億 · 約437 GB FP16 · 52.5万 ↓GPU要件
- Qwen3.8-Flash-Nextビジョン1800億 · 約397 GB FP16 · 272.8万 ↓GPU要件
- Llama 4 Maverickビジョン4015.8億 · 約886 GB FP16 · 1.4万 ↓GPU要件
Inkling Small:よくある質問
Inkling Smallに必要なVRAMは?
8Kコンテキスト、同時リクエスト1件で、FP16は約588 GB、INT8は約310 GB、INT4は約156 GBです。コンテキストを長くしたり同時リクエストを増やしたりすると、その分KVキャッシュが増えます。
Inkling Smallを動かす最安のGPUは?
RunPodの4 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり)で、FP16 / BF16・8Kコンテキストの推論なら1時間あたり約$9.56です。価格は2026年11月16日時点で、頻繁に変わります。
Inkling SmallはGPU 1枚でファインチューニングできる?
GPU 1枚では無理です。QLoRAでも約253 GB必要で、80GBのGPUに収まりません。LoRAは約684 GB、フルファインチューニングは約4,686 GB必要です。
この数値はどう計算している?
重みはパラメータ数×1パラメータあたりのバイト数(FP16は2、INT8は1、INT4は0.5)です。KVキャッシュはモデルの層数、KVヘッド数、ヘッドサイズ、コンテキスト長から求めます。ランタイム用に約10%と1GBを加え、各GPUのメモリの90%まで使う前提です。価格は各プロバイダーの公開価格ページから集めた、米国リージョンのオンデマンド定価で す。
Inkling SmallはRTX 4090のような一般向けGPUで動く?
1枚では動きません。INT4でも約156 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
Inkling SmallはH100 80GB 1枚に収まる?
収まりません。INT4でも約156 GB必要なので、複数のGPUが要ります。
Inkling SmallにはGPUが何台必要?
FP16、8Kコンテキストの場合、80GBなら9台、48GBなら14台、24GBなら28台です。INT4なら重みのメモリはおよそ4分の1になります。
INT8のInkling Smallに必要なVRAMは?
約310 GBです。内訳は重み279 GB、8KのKVキャッシュ1.4 GB、ランタイムのオーバーヘッド29 GBです。
Inkling Smallを1か月24時間動かすといくら?
私たちが見つけた最安の構成(4 × MI300X 192GB (約$2.39 GPU 1台・1時間あたり)、1時間$9.56×730時間)で約$6,979です。AWS、Google Cloud、Azureの最安は月約$24,195です。
FP16、INT8、INT4のどれを使うべき?
FP16は品質を保ったまま使えますが、メモリは最も多く必要です(ここでは約588 GB)。INT8は重みが半分になり、多くのチャット用途では品質の低下はわずかです。INT4(AWQ、GPTQ、GGUF Q4)は重みが4分の1になり、合計約156 GBですが、数学やコードで目立つ程度の小さな品質低下があります。
Inkling SmallはMacで動く?
はい、メモリが十分にあれば動きます。INT4で約156 GB必要なので、ユニファイドメモリ256GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。
vLLMとllama.cppのどちら?
vLLMはNVIDIAやAMDのGPUで多数のリクエストを同時に処理するためのもので、GPUメモリの大半をKVキャッシュに確保します。llama.cppはGGUFファイルをMacやCPUを含むほぼあらゆる環境で動かせ、個人や小さなチームに向いています。同じ精度なら必要なメモリはほぼ同じです。
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。
計算方法
- 重み: パラメータ数×1パラメータあたりのバイト数。FP16は2、INT8は1、INT4は0.5で、INT8とINT4には量子化スケール分として約5%を加えます。
- KVキャッシュ: 2×層数×KVヘッド数×ヘッドサイズ×コンテキスト長×リクエスト数×2バイト。値はモデルのconfig.jsonから取ります。欠けている値は推定し、その旨を表示します。
- オーバーヘッド: 約10%に加えてランタイム用に1GB。vLLMが確保する量とほぼ同じです。
- ファインチュー ニング: LoRAは16ビットの重みに小さなアダプター、そのオプティマイザー、アクティベーションを加えます。QLoRAは4ビットの重みで同じことをします。フルファインチューニングは混合精度のAdamで1パラメータあたり約16バイト(重み、勾配、オプティマイザーの状態)にアクティベーションが加わります。
- GPU: 各GPUのメモリの90%まで使う前提で、1ノード8台までとします。費用は米国リージョンのオンデマンド定価で、マーケットプレイス型のクラウドは中央値です。