OTel 2.0 LLM 31B IT QLoRAのGPU要件:VRAMと最安GPU
OTel 2.0 LLM 31B IT QLoRAのパラメータ数は312.7億で、BF16で公開されています。 apache-2.0で公開されており、商 用利用が認められています。
- パラメータ数
- 312.7億
- 最小メモリ(INT4)
- 約21 GB
- 最安GPUの1時間料金(FP16)
- $0.50
- 種類
- テキスト
farbodtavakkoli/OTel-2.0-LLM-31B-IT-QLoRA
- パラメータ数 312.7億
- 種類 テキスト
- タスク text-generation
- ライセンス apache-2.0
- ダウンロード数 168万
- いいね 3
OTel 2.0 LLM 31B IT QLoRAの計算結果
詳細設定
OTel 2.0 LLM 31B IT QLoRAに必要なGPUメモリは約72 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。 モデル設定の一部が欠けていたため、KVキャッシュは推定値です。
メモリの内訳
- 重み 63 GB
- KVキャッシュ 1.8 GB
- ランタイムのオーバーヘッド 7.4 GB
- 合計 72 GB
GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
| 順位 | 構成 | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) | プロバイダー |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX PRO 6000 96GB最安Blackwell · GDDR7 | $0.50 | 1 | $0.50 | $365 | RunPod (新しいタブで開きます)1x RTX PRO 6000 MaxQ |
| 2 | 4 × RTX 3090 24GBAmpere · GDDR6X | $0.24 | 4 | $0.96 | $702 | Vast.ai (新しいタブで開きます)4x RTX 3090 (median of 9 offers) |
| 3 | 1 × A100 80GBAmpere · HBM2e | $1.12 | 1 | $1.12 | $820 | Vast.ai (新しいタブで開きます)1x A100 SXM4 (median of 16 offers) |
| 4 | 2 × A40 48GBAmpere · GDDR6 | $0.59 | 2 | $1.18 | $861 | RunPod (新しいタブで開きます)2x A40 |
| 5 | 2 × A100 40GBAmpere · HBM2 | $0.61 | 2 | $1.22 | $890 | Vast.ai (新しいタブで開きます)2x A100 SXM4 (median of 8 offers) |
| 6 | 2 × RTX A6000 48GBAmpere · GDDR6 | $0.69 | 2 | $1.38 | $1,007 | RunPod (新しいタブで開きます)2x RTX A6000 |
| 7 | 1 × H100 80GBHopper · HBM3 | $1.39 | 1 | $1.39 | $1,015 | Lium (新しいタブで開きます)1x H100 80GB HBM3 |
| 8 | 2 × L40S 48GBAda Lovelace · GDDR6 | $0.80 | 2 | $1.60 | $1,169 | Vast.ai (新しいタブで開きます)2x L40S (median of 6 offers) |
| 9 | 1 × GH200 96GBHopper · HBM3 | $1.99 | 1 | $1.99 | $1,453 | Vultr (新しいタブで開きます)vbm-72c-480gb-gh200-gpu (bare metal) |
| 10 | 2 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | $1.09 | 2 | $2.18 | $1,591 | RunPod (新しいタブで開きます)2x RTX 6000 Ada |
| 11 | 4 × RTX 4090 24GBAda Lovelace · GDDR6X | $0.58 | 4 | $2.32 | $1,696 | Vast.ai (新しいタブで開きます)4x RTX 4090 (median of 12 offers) |
| 12 | 1 × MI300X 192GBCDNA 3 · HBM3 | $2.39 | 1 | $2.39 | $1,745 | RunPod (新しいタブで開きます)1x MI300X |
| 13 | 4 × L4 24GBAda Lovelace · GDDR6 | $0.69 | 4 | $2.76 | $2,015 | RunPod (新しいタブで開きます)4x L4 |
| 14 | 1 × H200 141GBHopper · HBM3e | $2.90 | 1 | $2.90 | $2,117 | Lium (新しいタブで開きます)1x H200 NVL |
| 15 | 1 × H100 NVL 94GBHopper · HBM3 | $3.19 | 1 | $3.19 | $2,329 | RunPod (新しいタブで開きます)1x H100 NVL |
| 16 | 3 × RTX 5090 32GBBlackwell · GDDR7 | $0.80 | 34台単位での提供。必要なのは3台 | $3.20 | $2,338 | Vast.ai (新しいタブで開きます)4x RTX 5090 (median of 35 offers) |
| 17 | 1 × B200 180GBBlackwell · HBM3e | $5.60 | 1 | $5.60 | $4,088 | Lium (新しいタブで開きます)1x B200 |
| 18 | 4 × A10 24GBAmpere · GDDR6 | $1.42 | 4 | $5.67 | $4,141 | AWS (新しいタブで開きます)g5.12xlarge |
| 19 | 5 × V100 16GBVolta · HBM2 | $0.79 | 58台単位での提供。必要なのは5台 | $6.32 | $4,614 | Lambda (新しいタブで開きます)8x Tesla V100 |
| 20 | 5 × T4 16GBTuring · GDDR6 | $0.98 | 58台単位での提供。必要なのは5台 | $7.82 | $5,712 | AWS (新しいタブで開きます)g4dn.metal |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | $8.00 | 1 | $8.00 | $5,840 | Lium (新しいタブで開きます)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | $10.50 | 14台単位での提供。必要なのは1台 | $42.00 | $30,660 | CoreWeave (新しいタブで開きます)GB200 NVL72 |
| プロバイダー | インスタンス | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) |
|---|---|---|---|---|---|
| RunPod (新しいタブで開きます)最安 | 1x RTX PRO 6000 MaxQus | $0.50 | 1 × RTX PRO 6000 96GB | 約$0.50 | 約$365 |
| Vast.ai (新しいタブで開きます) | 4x RTX 3090 (median of 9 offers)世界中のマーケットプレイス | $0.24 | 4 × RTX 3090 24GB | 約$0.96 | 約$702 |
| Lium (新しいタブで開きます) | 1x RTX PRO 6000 Blackwell Server Edition世界中のマーケットプレイス | $1.19 | 1 × RTX PRO 6000 96GB | 約$1.19 | 約$869 |
| Nebius (新しいタブで開きます) | 1x RTX PRO 6000 96GBeu/us | $1.80 | 1 × RTX PRO 6000 96GB | 約$1.80 | 約$1,314 |
| Vultr (新しいタブで開きます) | vbm-72c-480gb-gh200-gpu (bare metal)us | $1.99 | 1 × GH200 96GB | 約$1.99 | 約$1,453 |
| Lambda (新しいタブで開きます) | 2x A6000us | $1.09 | 2 × RTX A6000 48GB | 約$2.18 | 約$1,591 |
| AWS (新しいタブで開きます) | g7e.2xlargeus-east-1 | $3.36 | 1 × RTX PRO 6000 96GB | 約$3.36 | 約$2,455 |
| Azure (新しいタブで開きます) | NC24ads_A100_v4eastus | $3.67 | 1 × A100 80GB | 約$3.67 | 約$2,681 |
| Google Cloud (新しいタブで開きます) | g2-standard-48us-central1 | $1.00 | 4 × L4 24GB | 約$4.00 | 約$2,921 |
| CoreWeave (新しいタブで開きます) | GH200us | $6.50 | 1 × GH200 96GB | 約$6.50 | 約$4,745 |
価格は2026年11月16日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiやLiumなどのマーケットプレイスは世界全体 )。
精度と用途ごとのメモリ
| 精度 | 推論 | LoRAファインチューニング | QLoRAファインチューニング | フルファインチューニング |
|---|---|---|---|---|
| FP16 / BF16 | 72 GB | 90 GB | – | 560 GB |
| INT8 | 39 GB | – | – | – |
| INT4 | 21 GB | – | 39 GB | – |
精度別の最安GPU
8Kコンテキスト、同時リクエスト1件での推論。
FP16 / BF16
約72 GB · 8Kトークン
公開されたままの重み。劣化はありませんが、メモリは最も多く使います。
1 × RTX PRO 6000 96GB
RunPod (新しいタブで開きます) · 1x RTX PRO 6000 MaxQ
- GPU 1台 / 時間
- $0.50
- 必要な台数
- 1
- 合計 / 時間
- 約$0.50
- 月額(24時間稼働、概算)
- $365
INT8
約39 GB · 8Kトークン
重みは半分の大きさ。チャットやRAGではほとんど差が出ません。
1 × RTX A6000 48GB
Lium (新しいタブで開きます) · 1x RTX A6000
- GPU 1台 / 時間
- $0.42
- 必要な台数
- 1
- 合計 / 時間