Nemotron 3 UltraのGPU要件:VRAMと最安GPU
Nemotron 3 Ultraのパラメータ数は5605.2億で、BF16で公開されています。 Mixture-of-Expertsモデルで、512個 のエキスパートのうち22個が各トークンを処理します(約550億パラメータ)。そのため生成速度はおおむねその規模のモデル並みです。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 ライセンス(openmdw-1.1)には独自の条件があります。商用利用の前に確認してください。
- パラメータ数
- 5605.2億
- 最小メモリ(INT4)
- 約325 GB
- 最安GPUの1時間料金(FP16)
- $2.39
- 種類
- テキスト
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
- パラメータ数 5605.2億
- トークンあたりのアクティブ数 550億
- 種類 テキスト
- タスク text-generation
- 最大コンテキスト 256K
- ライセンス openmdw-1.1
- ダウンロード数 100.2万
- いいね 388
Nemotron 3 Ultraの計算結果
詳細設定
Nemotron 3 Ultraに必要なGPUメモリは約1,235 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。 モデル設定の一部が欠けていたため、KVキャッシュは推定値です。
メモリの内訳
- 重み 1,121 GB
- KVキャッシュ 0.54 GB
- ランタイムのオーバーヘッド 113 GB
- 合計 1,235 GB
GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
| 順位 | 構成 | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) | プロバイダー |
|---|---|---|---|---|---|---|
| 1 | 8 × MI300X 192GB最安CDNA 3 · HBM3 | $2.39 | 8 | $19.12 | $13,958 | RunPod (新しいタブで開きます)8x MI300X |
| 2 | 8 × B200 180GBBlackwell · HBM3e | $7.69 | 8 | $61.52 | $44,910 | Lambda (新しいタブで開きます)8x HGX B200 |
| 3 | 5 × B300 288GBBlackwell Ultra · HBM3e | $8.99 | 58台単位での提供。必要なのは5台 | $71.92 | $52,502 | RunPod (新しいタブで開きます)8x B300 |
| 8台超:複数ノードが必要: H200 141GB, GH200 96GB, H100 NVL 94GB, RTX PRO 6000 96GB, H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| プロバイダー | インスタンス | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) |
|---|---|---|---|---|---|
| RunPod (新しいタブで開きます)最安 | 8x MI300Xus | $2.39 | 8 × MI300X 192GB | 約$19.12 | 約$13,958 |
| Vultr (新しいタブで開きます) | vbm-256c-2048gb-8-mi300x-gpu (bare metal)us | $3.99 | 8 × MI300X 192GB | 約$31.92 | 約$23,302 |
| Lambda (新しいタブで開きます) | 8x HGX B200us | $7.69 | 8 × B200 180GB | 約$61.52 | 約$44,910 |
| Nebius (新しいタブで開きます) | 8x B200 180GBeu/us | $8.50 | 8 × B200 180GB | 約$68.00 | 約$49,640 |
| CoreWeave (新しいタブで開きます) | HGX B200us | $8.60 | 8 × B200 180GB | 約$68.80 | 約$50,224 |
| AWS (新しいタブで開きます) | p6-b200.48xlargeus-east-1 | $14.24 | 8 × B200 180GB | 約$113.93 | 約$83,171 |
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体)。
精度と用途ごとのメモリ
| 精度 | 推論 | LoRAファインチューニング | QLoRAファインチューニング | フルファインチューニング |
|---|---|---|---|---|
| FP16 / BF16 | 1,235 GB | 1,443 GB | – | 9,878 GB |
| INT8 | 649 GB | – | – | – |
| INT4 | 325 GB | – | 534 GB | – |
精度別 の最安GPU
8Kコンテキスト、同時リクエスト1件での推論。
FP16 / BF16
約1,235 GB · 8Kトークン
公開されたままの重み。劣化はありませんが、メモリは最も多く使います。
8 × MI300X 192GB
RunPod (新しいタブで開きます) · 8x MI300X
- GPU 1台 / 時間
- $2.39
- 必要な台数
- 8
- 合計 / 時間
- 約$19.12
- 月額(24時間稼働、概算)
- $13,958