本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

gpt-oss-120bのGPU要件:VRAMと最安GPU

gpt-oss-120bのパラメータ数は1168.3億で、FP4で公開されています。 Mixture-of-Expertsモデルで、128個のエキスパートのうち4個が各トークンを処理します(約57.5億パラメータ)。そのため生成速度はおおむねその規模のモデル並みです。ただしすべてのエキスパートをGPUメモリに載せる必要があるため、下のメモリの数値はモデル全体のものです。 apache-2.0で公開されており、商用利用が認められています。

パラメータ数
1168.3億
最小メモリ(INT4)
約69 GB
最安GPUの1時間料金(FP16)
$0.59
種類
テキスト
  • パラメータ数 1168.3億
  • トークンあたりのアクティブ数 57.5億
  • 種類 テキスト
  • タスク text-generation
  • 最大コンテキスト 128K
  • ライセンス apache-2.0
  • ダウンロード数 243.3万
  • いいね 5513

gpt-oss-120bの計算結果

精度
用途
詳細設定
推論エンジン
同時リクエスト数

gpt-oss-120bに必要なGPUメモリは約258 GB

推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。

メモリの内訳

  • 重み 234 GB
  • KVキャッシュ 0.3 GB
  • ランタイムのオーバーヘッド 24 GB
  • 合計 258 GB

GPUの台数は、急な負荷に備えて各カードの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。

収まるGPU(安い順)この設定を1ノードで扱える、追跡中のすべてのGPUの種類を1時間あたりの合計費用順に並べたもの
順位構成GPU 1台 / 時間必要な台数合計 / 時間合計 / 月(24時間稼働)プロバイダー
16 × A40 48GB最安Ampere · GDDR6$0.5968台単位での提供。必要なのは6台$4.72$3,446RunPod (新しいタブで開きます)8x A40
22 × MI300X 192GBCDNA 3 · HBM3$2.392$4.78$3,489RunPod (新しいタブで開きます)2x MI300X
36 × RTX A6000 48GBAmpere · GDDR6$0.6968台単位での提供。必要なのは6台$5.52$4,030RunPod (新しいタブで開きます)8x RTX A6000
43 × RTX PRO 6000 96GBBlackwell · GDDR7$1.7234台単位での提供。必要なのは3台$6.89$5,033Vast.ai (新しいタブで開きます)4x RTX PRO 6000 S (median of 8 offers)
54 × A100 80GBAmpere · HBM2e$2.094$8.36$6,103RunPod (新しいタブで開きます)4x A100 PCIe
66 × L40S 48GBAda Lovelace · GDDR6$1.0968台単位での提供。必要なのは6台$8.72$6,366RunPod (新しいタブで開きます)8x L40S
76 × RTX 6000 Ada 48GBAda Lovelace · GDDR6$1.0968台単位での提供。必要なのは6台$8.72$6,366RunPod (新しいタブで開きます)8x RTX 6000 Ada
81 × B300 288GBBlackwell Ultra · HBM3e$8.991$8.99$6,563RunPod (新しいタブで開きます)1x B300
94 × H100 80GBHopper · HBM3$2.894$11.56$8,439RunPod (新しいタブで開きます)4x H100 PCIe
104 × H100 NVL 94GBHopper · HBM3$3.194$12.76$9,315RunPod (新しいタブで開きます)4x H100 NVL
113 × H200 141GBHopper · HBM3e$3.7934台単位での提供。必要なのは3台$15.16$11,067RunPod (新しいタブで開きます)4x H200 NVL
122 × B200 180GBBlackwell · HBM3e$7.892$15.78$11,519Lambda (新しいタブで開きます)2x B200 SXM6
138 × A100 40GBAmpere · HBM2$1.998$15.92$11,622Lambda (新しいタブで開きます)8x HGX A100
142 × GB200 186GBBlackwell · HBM3e$10.5024台単位での提供。必要なのは2台$42.00$30,660CoreWeave (新しいタブで開きます)GB200 NVL72
8台超:複数ノードが必要: RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB
クラウド別の費用プロバイダーごとの収まる最安プラン。概算、価格は2026年11月13日時点。
プロバイダーインスタンスGPU 1台 / 時間必要な台数合計 / 時間合計 / 月(24時間稼働)
RunPod (新しいタブで開きます)最安8x A40us$0.596 × A40 48GB 8台単位での提供。必要なのは6台約$4.72約$3,446
Vast.ai (新しいタブで開きます)4x RTX PRO 6000 S (median of 8 offers)世界中のマーケットプレイス$1.723 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台約$6.89約$5,033
Nebius (新しいタブで開きます)1x B300 288GBeu/us$9.501 × B300 288GB 約$9.50約$6,935
Vultr (新しいタブで開きます)vbm-48c-1024gb-4-a100-gpu (bare metal)us$2.404 × A100 80GB 約$9.59約$7,000
Azure (新しいタブで開きます)NC96ads_A100_v4eastus$3.674 × A100 80GB 約$14.69約$10,725
Lambda (新しいタブで開きます)2x B200 SXM6us$7.892 × B200 180GB 約$15.78約$11,519
AWS (新しいタブで開きます)g7e.24xlargeus-east-1$4.143 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台約$16.57約$12,098
Google Cloud (新しいタブで開きます)g4-standard-192us-central1$4.503 × RTX PRO 6000 96GB 4台単位での提供。必要なのは3台約$18.00約$13,140
CoreWeave (新しいタブで開きます)L40Sus$2.256 × L40S 48GB 8台単位での提供。必要なのは6台約$18.00約$13,140

価格は2026年11月13日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiなどのマーケットプレイスは世界全体)。

精度と用途ごとのメモリ

コンテキスト8Kトークン、同時リクエスト1件の場合。LoRAとフルファインチューニングは16ビットの重み、QLoRAは4ビットの重みから始めるため、それ以外の欄は空欄です。
精度推論LoRAファインチューニングQLoRAファインチューニングフルファインチューニング
FP16 / BF16258 GB302 GB–2,060 GB
INT8136 GB–––
INT469 GB–112 GB–

精度別の最安GPU

8Kコンテキスト、同時リクエスト1件での推論。

FP16 / BF16

約258 GB · 8Kトークン

公開されたままの重み。劣化はありませんが、メモリは最も多く使います。

6 × A40 48GB

RunPod (新しいタブで開きます) · 8x A40

8台単位での提供。必要なのは6台
GPU 1台 / 時間
$0.59
必要な台数
6
合計 / 時間
約$4.72
月額(24時間稼働、概算)
$3,446

INT8

約136 GB · 8Kトークン

重みは半分の大きさ。チャットやRAGではほとんど差が出ません。

4 × A40 48GB

RunPod (新しいタブで開きます) · 4x A40

GPU 1台 / 時間
$0.59
必要な台数
4
合計 / 時間
約$2.36
月額(24時間稼働、概算)
$1,723

INT4

約69 GB · 8Kトークン

重みは4分の1の大きさ。小さな劣化はまず数学やコードに表れます。

1 × RTX PRO 6000 96GB

RunPod (新しいタブで開きます) · 1x RTX PRO 6000 MaxQ

GPU 1台 / 時間
$0.50
必要な台数
1
合計 / 時間
約$0.50
月額(24時間稼働、概算)
$365

推論とファインチューニング

  • 推論 (FP16)

    1×

    (推論時のメモリ比)

    258 GB

    6 × A40 48GB · 約$4.72

  • LoRAファインチューニング

    1.2×

    (推論時のメモリ比)

    302 GB

    7 × A40 48GB · 約$4.72

  • QLoRAファインチューニング

    0.4×

    (推論時のメモリ比)

    112 GB

    3 × A40 48GB · 約$2.36

  • フルファインチューニング

    8×

    (推論時のメモリ比)

    2,060 GB

    8 × B300 288GB · 約$71.92

FP16での推論は6 × A40 48GB (RunPod)で足ります。LoRAは7 × A40 48GB (RunPod)、QLoRAは3 × A40 48GB (RunPod)、フルファインチューニングは8 × B300 288GB (RunPod)が必要です。学習では重みに加えてアクティベーションとオプティマイザーの状態もメモリに置くため、同じモデルの推論より多くのGPUが要ることがよくあります。

MacやRTX 4090 1枚で動くか

RTX 4090(24GB)

1枚では動きません。INT4でも約69 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。

Appleシリコン搭載Mac

はい、メモリが十分にあれば動きます。INT4で約69 GB必要なので、ユニファイドメモリ96GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。

自分で動かすか、トークン課金のAPIを使うか

自分で動かす

FP16で見つかった最安の構成はRunPodの6 × A40 48GBで、常時稼働なら月約$3,446です。トラフィックが安定している場合や、データを自社の環境から出せない場合に向いています。

ホスト型APIを使う

gpt-oss-120bのレビューで、APIで使える場所とその費用をまとめています。利用が少ない、または波がある場合は、トークン課金のほうが安くなることが多いです。

私たちのレビューを読む

似たモデル

規模が近いオープンモデル。

別のモデルを計算する

gpt-oss-120b:よくある質問

gpt-oss-120bに必要なVRAMは?

8Kコンテキスト、同時リクエスト1件で、FP16は約258 GB、INT8は約136 GB、INT4は約69 GBです。コンテキストを長くしたり同時リクエストを増やしたりすると、その分KVキャッシュが増えます。

gpt-oss-120bを動かす最安のGPUは?

RunPodの6 × A40 48GB (約$0.59 GPU 1台・1時間あたり; 8台単位での提供。必要なのは6台)で、FP16 / BF16・8Kコンテキストの推論なら1時間あたり約$4.72です。価格は2026年11月13日時点で、頻繁に変わります。

gpt-oss-120bはGPU 1枚でファインチューニングできる?

GPU 1枚では無理です。QLoRAでも約112 GB必要で、80GBのGPUに収まりません。LoRAは約302 GB、フルファインチューニングは約2,060 GB必要です。

この数値はどう計算している?

重みはパラメータ数×1パラメータあたりのバイト数(FP16は2、INT8は1、INT4は0.5)です。KVキャッシュはモデルの層数、KVヘッド数、ヘッドサイズ、コンテキスト長から求めます。ランタイム用に約10%と1GBを加え、各GPUのメモリの90%まで使う前提です。価格は各プロバイダーの公開価格ページから集めた、米国リージョンのオンデマンド定価です。

gpt-oss-120bはRTX 4090のような一般向けGPUで動く?

1枚では動きません。INT4でも約69 GB必要で、カードの24GBを超えます。2枚以上のカードか、より大きなデータセンター向けGPUが必要です。

gpt-oss-120bはH100 80GB 1枚に収まる?

はい、8KコンテキストならINT4で収まります。

gpt-oss-120bにはGPUが何台必要?

FP16、8Kコンテキストの場合、80GBなら4台、48GBなら6台、24GBなら12台です。INT4なら重みのメモリはおよそ4分の1になります。

INT8のgpt-oss-120bに必要なVRAMは?

約136 GBです。内訳は重み123 GB、8KのKVキャッシュ0.3 GB、ランタイムのオーバーヘッド13 GBです。

gpt-oss-120bを1か月24時間動かすといくら?

私たちが見つけた最安の構成(6 × A40 48GB (約$0.59 GPU 1台・1時間あたり; 8台単位での提供。必要なのは6台)、1時間$4.72×730時間)で約$3,446です。AWS、Google Cloud、Azureの最安は月約$10,725です。

FP16、INT8、INT4のどれを使うべき?

FP16は品質を保ったまま使えますが、メモリは最も多く必要です(ここでは約258 GB)。INT8は重みが半分になり、多くのチャット用途では品質の低下はわずかです。INT4(AWQ、GPTQ、GGUF Q4)は重みが4分の1になり、合計約69 GBですが、数学やコードで目立つ程度の小さな品質低下があります。

gpt-oss-120bはMacで動く?

はい、メモリが十分にあれば動きます。INT4で約69 GB必要なので、ユニファイドメモリ96GB以上のMacが目安です(macOSはその約4分の3をGPUに割り当てます)。生成速度はデータセンター向けGPUより遅くなります。

vLLMとllama.cppのどちら?

vLLMはNVIDIAやAMDのGPUで多数のリクエストを同時に処理するためのもので、GPUメモリの大半をKVキャッシュに確保します。llama.cppはGGUFファイルをMacやCPUを含むほぼあらゆる環境で動かせ、個人や小さなチームに向いています。同じ精度なら必要なメモリはほぼ同じです。

価格は2026年11月13日時点。費用はすべて概算です(オンデマンド、米ドル、主に米国リージョン。Vast.aiなどのマーケットプレイスは世界全体)。

計算方法

  • 重み: パラメータ数×1パラメータあたりのバイト数。FP16は2、INT8は1、INT4は0.5で、INT8とINT4には量子化スケール分として約5%を加えます。
  • KVキャッシュ: 2×層数×KVヘッド数×ヘッドサイズ×コンテキスト長×リクエスト数×2バイト。値はモデルのconfig.jsonから取ります。欠けている値は推定し、その旨を表示します。
  • オーバーヘッド: 約10%に加えてランタイム用に1GB。vLLMが確保する量とほぼ同じです。
  • ファインチューニング: LoRAは16ビットの重みに小さなアダプター、そのオプティマイザー、アクティベーションを加えます。QLoRAは4ビットの重みで同じことをします。フルファインチューニングは混合精度のAdamで1パラメータあたり約16バイト(重み、勾配、オプティマイザーの状態)にアクティベーションが加わります。
  • GPU: 各GPUのメモリの90%まで使う前提で、1ノード8台までとします。費用は米国リージョンのオンデマンド定価で、マーケットプレイス型のクラウドは中央値です。