gpt-oss-120bのGPU要件:VRAMと最安GPU
gpt-oss-120bのパラメータ数は1168.3億で、FP4で公開されています。 Mixture-of-Expertsモデルで、128個のエキスパートのうち4個が各トークンを処理します(約57.5億パラメータ)。そのため生成速度はおおむねその規模のモデル並みです。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 apache-2.0で公開されており、商用利用が認められています。
- パラメータ数
- 1168.3億
- 最小メモリ(INT4)
- 約69 GB
- 最安GPUの1時間料金(FP16)
- $0.59
- 種類
- テキスト
openai/gpt-oss-120b
- パラメータ数 1168.3億
- トークンあたりのアクティブ数 57.5億
- 種類 テキスト
- タスク text-generation
- 最大コンテキスト 128K
- ライセンス apache-2.0
- ダウンロード数 243.3万
- いいね 5513
gpt-oss-120bの計算結果
詳細設定
gpt-oss-120bに必要なGPUメモリは約258 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。
メモリの内訳
- 重み 234 GB
- KVキャッシュ 0.3 GB
- ランタイムのオーバーヘッド 24 GB
- 合計 258 GB
GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
| 順位 | 構成 | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) | プロバイダー |
|---|---|---|---|---|---|---|
| 1 | 6 × A40 48GB最安Ampere · GDDR6 | $0.59 | 68台単位での提供。必要なのは6台 | $4.72 | $3,446 | RunPod (新しいタブで開きます)8x A40 |
| 2 | 2 × MI300X 192GBCDNA 3 · HBM3 | $2.39 | 2 | $4.78 | $3,489 | RunPod (新しいタブで開きます)2x MI300X |
| 3 | 6 × RTX A6000 48GBAmpere · GDDR6 | $0.69 | 68台単位での提供。必要なのは6台 | $5.52 | $4,030 | RunPod (新しいタブで開きます)8x RTX A6000 |
| 4 | 3 × RTX PRO 6000 96GBBlackwell · GDDR7 | $1.72 | 34台単位での提供。必要なのは3台 | $6.89 | $5,033 | Vast.ai (新しいタブで開きます)4x RTX PRO 6000 S (median of 8 offers) |
| 5 | 4 × A100 80GBAmpere · HBM2e | $2.09 | 4 | $8.36 | $6,103 | RunPod (新しいタブで開きます)4x A100 PCIe |
| 6 | 6 × L40S 48GBAda Lovelace · GDDR6 | $1.09 | 68台単位での提供。必要なのは6台 | $8.72 | $6,366 | RunPod (新しいタブで開きます)8x L40S |
| 7 | 6 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | $1.09 | 68台単位での提供。必要なのは6台 | $8.72 | $6,366 | RunPod (新しいタブで開きます)8x RTX 6000 Ada |
| 8 | 1 × B300 288GBBlackwell Ultra · HBM3e | $8.99 | 1 | $8.99 | $6,563 | RunPod (新しいタブで開きます)1x B300 |
| 9 | 4 × H100 80GBHopper · HBM3 | $2.89 | 4 | $11.56 | $8,439 | RunPod (新しいタブで開きます)4x H100 PCIe |
| 10 | 4 × H100 NVL 94GBHopper · HBM3 | $3.19 | 4 | $12.76 | $9,315 | RunPod (新しいタブで開きます)4x H100 NVL |
| 11 | 3 × H200 141GBHopper · HBM3e | $3.79 | 34台単位での提供。必要なのは3台 | $15.16 | $11,067 | RunPod (新しいタブで開きます)4x H200 NVL |
| 12 | 2 × B200 180GBBlackwell · HBM3e | $7.89 | 2 | $15.78 | $11,519 | Lambda (新しいタブで開きます)2x B200 SXM6 |
| 13 | 8 × A100 40GBAmpere · HBM2 | $1.99 | 8 | $15.92 | $11,622 | Lambda (新しいタブで開きます)8x HGX A100 |
| 14 | 2 × GB200 186GBBlackwell · HBM3e | $10.50 | 24台単位での提供。必要なのは2台 | $42.00 | $30,660 | CoreWeave (新しいタブで開きます)GB200 NVL72 |
| 8台超:複数ノードが必要: RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| プロバイダー | インスタンス | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) |
|---|---|---|---|---|---|
| RunPod (新しいタブで開きます)最安 | 8x A40us | $0.59 | 6 × A40 48GB 8台単位での提供。必要なのは6台 | 約$4.72 | 約$3,446 |
| Vast.ai (新しいタブで開きます) | 4x RTX PRO 6000 S (median of 8 offers)世界中のマーケットプレイス | $1.72 | 3 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台 | 約$6.89 | 約$5,033 |
| Nebius (新しいタブで開きます) | 1x B300 288GBeu/us | $9.50 | 1 × B300 288GB | 約$9.50 | 約$6,935 |
| Vultr (新しいタブで開きます) | vbm-48c-1024gb-4-a100-gpu (bare metal)us | $2.40 | 4 × A100 80GB | 約$9.59 | 約$7,000 |
| Azure (新しいタブで開きます) | NC96ads_A100_v4eastus | $3.67 | 4 × A100 80GB | 約$14.69 | 約$10,725 |
| Lambda (新しいタブで開きます) | 2x B200 SXM6us | $7.89 | 2 × B200 180GB | 約$15.78 | 約$11,519 |
| AWS (新しいタブで開きます) | g7e.24xlargeus-east-1 | $4.14 | 3 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台 | 約$16.57 | 約$12,098 |
| Google Cloud (新しいタブで開きます) | g4-standard-192us-central1 | $4.50 | 3 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台 | 約$18.00 | 約$13,140 |
| CoreWeave (新しいタブで開きます) | L40Sus | $2.25 | 6 × L40S 48GB 8台単位での提供。必要なのは6台 | 約$18.00 | 約$13,140 |
価格は2026年11月13日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiなどのマーケットプレイスは世界全体)。
精度と用途ごとのメモリ
| 精度 | 推論 | LoRAファインチューニング | QLoRAファインチューニング | フルファインチューニング |
|---|---|---|---|---|
| FP16 / BF16 | 258 GB | 302 GB | – | 2,060 GB |
| INT8 | 136 GB | – | – | – |
| INT4 | 69 GB | – | 112 GB | – |
精度別の最安GPU
8Kコンテキスト、同時リクエスト1件での推論。
FP16 / BF16
約258 GB · 8Kトークン
公開されたままの重み。劣化はありませんが、メモリは最も多く使います。
6 × A40 48GB
RunPod (新しいタブで開きます) · 8x A40
8台単位での提供。必要なのは6台- GPU 1台 / 時間
- $0.59
- 必要な台数
- 6
- 合計 / 時間
- 約$4.72
- 月額(24時間稼働、概算)
- $3,446
INT8
約136 GB · 8Kトークン
重みは半分の大きさ。チャットやRAGではほとんど差が出ません。
4 × A40 48GB
RunPod (新しいタブで開きます) · 4x A40
- GPU 1台 / 時間
- $0.59
- 必要な台数
- 4
- 合計 / 時間
- 約$2.36
- 月額(24時間稼働、概算)
- $1,723
INT4
約69 GB · 8Kトークン
重みは4分の1の大きさ。小さな劣化はまず数学やコードに表れます。
1 × RTX PRO 6000 96GB
RunPod (新しいタブで開きます) · 1x RTX PRO 6000 MaxQ
- GPU 1台 / 時間
- $0.50
- 必要な台数
- 1
- 合計 / 時間
- 約$0.50
- 月額(24時間稼働、概算)
- $365
推論とファインチューニング
推論 (FP16)
1×
(推論時のメモリ比)
258 GB
6 × A40 48GB · 約$4.72
LoRAファインチューニング
1.2×
(推論時のメモリ比)
302 GB
7 × A40 48GB · 約$4.72
QLoRAファインチュ ーニング
0.4×
(推論時のメモリ比)
112 GB
3 × A40 48GB · 約$2.36
フルファインチューニング
8×
(推論時のメモリ比)
2,060 GB
8 × B300 288GB · 約$71.92
FP16での推論は6 × A40 48GB (RunPod)で足ります。LoRAは7 × A40 48GB (RunPod)、QLoRAは3 × A40 48GB (RunPod)、フルファインチューニングは8 × B300 288GB (RunPod)が必要です。学習では重みに加えてアクティベーションとオプティマイザーの状態もメモリに置くため、同じモデルの推論より多くのGPUが要ることがよくあります。
MacやRTX 4090 1枚で動くか
RTX 4090(24GB)
1枚では動きません。INT4 でも約69 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
Appleシリコン搭載Mac
はい、メモリが十分にあれば動きます。INT4で約69 GB必要なので、ユニファイドメモリ96GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。
自分で動かすか、トークン課金のAPIを使うか
自分で動かす
FP16で見つかった最安の構成はRunPodの6 × A40 48GBで、常時稼働なら月約$3,446です。トラフィックが安定している場合や、データを自社の環境から出せない場合に向いています。
ホスト型APIを使う
gpt-oss-120bのレビューで、APIで使える場所とその費用をまとめています。利用が少ない、または波がある場合は、トークン課金のほうが安くなることが多いです。
私たちのレビューを読む似たモデル
規模が近いオープンモデル。
- Laguna S 2.1テキスト1175.6億 · 約260 GB FP16 · 51.2万 ↓GPU要件
- GLM 4.5 Airテキスト1104.7億 · 約246 GB FP16 · 116.8万 ↓GPU要件
- NVIDIA Nemotron 3 Super 120B A12B BF16テキスト1236.1億 · 約274 GB FP16 · 91.6万 ↓GPU要件
- Ornith-1.5-122Bテキスト1250.9億 · 約276 GB FP16 · 31.3万 ↓GPU要件
- Ling-3.0-flash-Santeテキスト1274.9億 · 約282 GB FP16 · 2699 ↓GPU要件
- Sarvam-105Bテキスト1060.3億 · 約235 GB FP16 · 5176 ↓GPU要件
gpt-oss-120b:よくある質問
gpt-oss-120bに必要なVRAMは?
8Kコンテキスト、同時リクエスト1件で、FP16は約258 GB、INT8は約136 GB、INT4は約69 GBです。コンテキストを長くしたり同時リクエストを増やしたりすると、その分KVキャッシュが増えます。
gpt-oss-120bを動かす最安のGPUは?
RunPodの6 × A40 48GB (約$0.59 GPU 1台・1時間あたり; 8台単位での提供。必要なのは6台)で、FP16 / BF16・8Kコンテキストの推論なら1時間あたり約$4.72です。価格は2026年11月13日時点で、頻繁に変わります。
gpt-oss-120bはGPU 1枚でファインチューニングできる?
GPU 1枚では無理です。QLoRAでも約112 GB必要で、80GBのGPUに収まりません。LoRAは約302 GB、フルファインチューニングは約2,060 GB必要です。
この数値はどう計算している?
重みはパラメータ数×1パラメータあたりのバイト数(FP16は2、INT8は1、INT4は0.5)です。KVキャッシュはモデルの層数、KVヘッド数、ヘッドサイズ、コンテキスト長から求めます。ランタイム用に約10%と1GBを加え、各GPUのメモリの90%まで使う前提です。価格は各プロバイダーの公開価格ページから集めた、米国リージョンのオンデマンド定価です。
gpt-oss-120bはRTX 4090のような一般向けGPUで動く?
1枚では動きません。INT4でも約69 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。
gpt-oss-120bはH100 80GB 1枚に収まる?
はい、8KコンテキストならINT4で収まります。
gpt-oss-120bにはGPUが何台必要?
FP16、8Kコンテキストの場合、80GBなら4台、48GBなら6台、24GBなら12台です。INT4なら重みのメモリはおよそ4分の1になります。
INT8のgpt-oss-120bに必要なVRAMは?
約136 GBです。内訳は重み123 GB、8KのKVキャッシュ0.3 GB、ランタイムのオーバーヘッド13 GBです。
gpt-oss-120bを1か月24時間動かすといくら?
私たちが見つけた最安の構成(6 × A40 48GB (約$0.59 GPU 1台・1時間あたり; 8台単位での提供。必要なのは6台)、1時間$4.72×730時間)で約$3,446です。AWS、Google Cloud、Azureの最安は月約$10,725です。
FP16、INT8、INT4のどれを使うべき?
FP16は品質を保ったまま使えますが、メモリは最も多く必要です(ここでは約258 GB)。INT8は重みが半分になり、多くのチャット用途では品質の低下はわずかです。INT4(AWQ、GPTQ、GGUF Q4)は重みが4分の1になり、合計約69 GBですが、数学やコードで目立つ程度の小さな品質低下があります。
gpt-oss-120bはMacで動く?
はい、メモリが十分にあれば動きます。INT4で約69 GB必要なので、ユニファイドメモリ96GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。
vLLMとllama.cppのどちら?
vLLMはNVIDIAやAMDのGPUで多数のリクエストを同時に処理するためのもので、GPUメモリの大半をKVキャッシュに確保します。llama.cppはGGUFファイルをMacやCPUを含むほぼあらゆる環境で動かせ、個人や小さなチームに向いています。同じ精度なら必要なメモリはほぼ同じです。
価格は2026年11月13日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiなどのマーケットプレイスは世界全体)。
計算方法
- 重み: パラメータ数×1パラメータあたりのバイト数。FP16は2、INT8は1、INT4は0.5で、INT8とINT4には量子化スケール分として約5%を加えます。
- KVキャッシュ: 2×層数×KVヘッド数×ヘッドサイズ×コンテキスト長×リクエスト数×2バイト。値はモデルのconfig.jsonから取ります。欠けている値は推定し、その旨を表示します。
- オーバーヘッド: 約10%に加えてランタイム用に1GB。vLLMが確保する量とほぼ同じです。
- ファインチューニング: LoRAは16ビットの重みに小さなアダプター、そのオプティマイザー、アクティベーションを加えます。QLoRAは4ビットの重みで同じことをします。フルファインチューニングは混合精度のAdamで1パラメータあたり約16バイト(重み、勾配、オプティマイザーの状態)にアクティベーションが加わります。
- GPU: 各GPUのメモリの90%まで使う前提で、1ノード8台までとします。費用は米国リージョンのオンデマンド定価で、マーケットプレイス型のクラウドは中央値です。