gpt-oss-120b GPU-Anforderungen: VRAM und günstigste GPU
gpt-oss-120b hat 116,8 Mrd. Parameter, veröffentlicht in FP4. Es ist ein Mixture-of-Experts-Modell: 4 seiner 128 Experten arbeiten an jedem Token, etwa 5,8 Mrd. Parameter, daher erzeugt es Text ungefähr im Tempo eines Modells dieser Größe. Alle Experten müssen trotzdem im GPU-Speicher liegen, deshalb gelten die Speicherwerte unten für das ganze Modell. Es steht unter apache-2.0, die kommerzielle Nutzung erlaubt.
- Parameter
- 116,8 Mrd.
- Kleinster Bedarf (INT4)
- etwa 69 GB
- Günstigste GPU pro Stunde (FP16)
- 0,59 $
- Typ
- Text
openai/gpt-oss-120b
Auf Hugging Face ansehen (öffnet in neuem Tab)Unseren Test lesen
- Parameter 116,8 Mrd.
- Aktiv pro Token 5,8 Mrd.
- Typ Text
- Aufgabe text-generation
- Max. Kontext 128K
- Lizenz apache-2.0
- Downloads 2,4 Mio.
- Likes 5513
Berechnung für gpt-oss-120b
Weitere Einstellungen
gpt-oss-120b braucht etwa 258 GB GPU-Speicher
Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig.
Wofür der Speicher draufgeht
- Gewichte 234 GB
- KV-Cache 0,3 GB
- Laufzeit-Overhead 24 GB
- Gesamt 258 GB
Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.
| Rang | Konfiguration | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) | Anbieter |
|---|---|---|---|---|---|---|
| 1 | 6 × A40 48GBAm günstigstenAmpere · GDDR6 | 0,59 $ | 6nur mit 8 GPUs erhältlich; du brauchst 6 | 4,72 $ | 3.446 $ | RunPod (öffnet in neuem Tab)8x A40 |
| 2 | 2 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $ | 2 | 4,78 $ | 3.489 $ | RunPod (öffnet in neuem Tab)2x MI300X |
| 3 | 6 × RTX A6000 48GBAmpere · GDDR6 | 0,69 $ | 6nur mit 8 GPUs erhältlich; du brauchst 6 | 5,52 $ | 4.030 $ | RunPod (öffnet in neuem Tab)8x RTX A6000 |
| 4 | 3 × RTX PRO 6000 96GBBlackwell · GDDR7 | 1,72 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 6,89 $ | 5.033 $ | Vast.ai (öffnet in neuem Tab)4x RTX PRO 6000 S (median of 8 offers) |
| 5 | 4 × A100 80GBAmpere · HBM2e | 2,09 $ | 4 | 8,36 $ | 6.103 $ | RunPod (öffnet in neuem Tab)4x A100 PCIe |
| 6 | 6 × L40S 48GBAda Lovelace · GDDR6 | 1,09 $ | 6nur mit 8 GPUs erhältlich; du brauchst 6 | 8,72 $ | 6.366 $ | RunPod (öffnet in neuem Tab)8x L40S |
| 7 | 6 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 1,09 $ | 6nur mit 8 GPUs erhältlich; du brauchst 6 | 8,72 $ | 6.366 $ | RunPod (öffnet in neuem Tab)8x RTX 6000 Ada |
| 8 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 $ | 1 | 8,99 $ | 6.563 $ | RunPod (öffnet in neuem Tab)1x B300 |
| 9 | 4 × H100 80GBHopper · HBM3 | 2,89 $ | 4 | 11,56 $ | 8.439 $ | RunPod (öffnet in neuem Tab)4x H100 PCIe |
| 10 | 4 × H100 NVL 94GBHopper · HBM3 | 3,19 $ | 4 | 12,76 $ | 9.315 $ | RunPod (öffnet in neuem Tab)4x H100 NVL |
| 11 | 3 × H200 141GBHopper · HBM3e | 3,79 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 15,16 $ | 11.067 $ | RunPod (öffnet in neuem Tab)4x H200 NVL |
| 12 | 2 × B200 180GBBlackwell · HBM3e | 7,89 $ | 2 | 15,78 $ | 11.519 $ | Lambda (öffnet in neuem Tab)2x B200 SXM6 |
| 13 | 8 × A100 40GBAmpere · HBM2 | 1,99 $ | 8 | 15,92 $ | 11.622 $ | Lambda (öffnet in neuem Tab)8x HGX A100 |
| 14 | 2 × GB200 186GBBlackwell · HBM3e | 10,50 $ | 2nur mit 4 GPUs erhältlich; du brauchst 2 | 42,00 $ | 30.660 $ | CoreWeave (öffnet in neuem Tab)GB200 NVL72 |
| Mehr als 8: mehrere Knoten nötig: RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| Anbieter | Instanz | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) |
|---|---|---|---|---|---|
| RunPod (öffnet in neuem Tab)Am günstigsten | 8x A40us | 0,59 $ | 6 × A40 48GB nur mit 8 GPUs erhältlich; du brauchst 6 | etwa 4,72 $ | etwa 3.446 $ |
| Vast.ai (öffnet in neuem Tab) | 4x RTX PRO 6000 S (median of 8 offers)weltweiter Marktplatz | 1,72 $ | 3 × RTX PRO 6000 96GB nur mit 4 GPUs erhältlich; du brauchst 3 | etwa 6,89 $ | etwa 5.033 $ |
| Nebius (öffnet in neuem Tab) | 1x B300 288GBeu/us | 9,50 $ | 1 × B300 288GB | etwa 9,50 $ | etwa 6.935 $ |
| Vultr (öffnet in neuem Tab) | vbm-48c-1024gb-4-a100-gpu (bare metal)us | 2,40 $ | 4 × A100 80GB | etwa 9,59 $ | etwa 7.000 $ |
| Azure (öffnet in neuem Tab) | NC96ads_A100_v4eastus | 3,67 $ | 4 × A100 80GB | etwa 14,69 $ | etwa 10.725 $ |
| Lambda (öffnet in neuem Tab) | 2x B200 SXM6us | 7,89 $ | 2 × B200 180GB | etwa 15,78 $ | etwa 11.519 $ |
| AWS (öffnet in neuem Tab) | g7e.24xlargeus-east-1 | 4,14 $ | 3 × RTX PRO 6000 96GB nur mit 4 GPUs erhältlich; du brauchst 3 | etwa 16,57 $ | etwa 12.098 $ |
| Google Cloud (öffnet in neuem Tab) | g4-standard-192us-central1 | 4,50 $ | 3 × RTX PRO 6000 96GB nur mit 4 GPUs erhältlich; du brauchst 3 | etwa 18,00 $ | etwa 13.140 $ |
| CoreWeave (öffnet in neuem Tab) | L40Sus | 2,25 $ | 6 × L40S 48GB nur mit 8 GPUs erhältlich; du brauchst 6 | etwa 18,00 $ | etwa 13.140 $ |
Preise erfasst am 13. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai sind weltweit).
Speicher nach Genauigkeit und Einsatz
| Genauigkeit | Inferenz | LoRA-Feintuning | QLoRA-Feintuning | Volles Feintuning |
|---|---|---|---|---|
| FP16 / BF16 | 258 GB | 302 GB | – | 2.060 GB |
| INT8 | 136 GB | – | – | – |
| INT4 | 69 GB | – | 112 GB | – |
Günstigste GPU nach Genauigkeit
Inferenz mit 8K Kontext und einer Anfrage gleichzeitig.
FP16 / BF16
etwa 258 GB · 8K Tokens
Die Gewichte wie veröffentlicht. Kein Verlust, aber der größte Bedarf.
6 × A40 48GB
RunPod (öffnet in neuem Tab) · 8x A40
nur mit 8 GPUs erhältlich; du brauchst 6- Pro GPU / Std.
- 0,59 $
- Benötigte GPUs
- 6
- Gesamt / Std.
- etwa 4,72 $
- pro Monat, 24/7, ca.
- 3.446 $
INT8
etwa 136 GB · 8K Tokens
Gewichte in halber Größe. Bei Chat und RAG meist kein sichtbarer Unterschied.
4 × A40 48GB
RunPod (öffnet in neuem Tab) · 4x A40
- Pro GPU / Std.
- 0,59 $
- Benötigte GPUs
- 4
- Gesamt / Std.
- etwa 2,36 $
- pro Monat, 24/7, ca.
- 1.723 $
INT4
etwa 69 GB · 8K Tokens
Gewichte auf ein Viertel verkleinert. Kleine Verluste zeigen sich zuerst bei Mathematik und Code.
1 × RTX PRO 6000 96GB
RunPod (öffnet in neuem Tab) · 1x RTX PRO 6000 MaxQ
- Pro GPU / Std.
- 0,50 $
- Benötigte GPUs
- 1
- Gesamt / Std.
- etwa 0,50 $
- pro Monat, 24/7, ca.
- 365 $
Inferenz oder Feintuning
Inferenz (FP16)
1×
des Speichers für Inferenz
258 GB
6 × A40 48GB · etwa 4,72 $
LoRA-Feintuning
1,2×
des Speichers für Inferenz
302 GB
7 × A40 48GB · etwa 4,72 $
QLoRA-Feintuning
0,4×
des Speichers für Inferenz
112 GB
3 × A40 48GB · etwa 2,36 $
Volles Feintuning
8×
des Speichers für Inferenz
2.060 GB
8 × B300 288GB · etwa 71,92 $
Für den Betrieb in FP16 reicht 6 × A40 48GB (RunPod). LoRA braucht 7 × A40 48GB (RunPod), QLoRA 3 × A40 48GB (RunPod) und volles Feintuning 8 × B300 288GB (RunPod). Training hält neben den Gewichten auch Aktivierungen und Optimiererzustände im Speicher und braucht deshalb oft mehr GPUs als der Betrieb desselben Modells.
Läuft es auf einem Mac oder einer einzelnen RTX 4090?
RTX 4090 (24 GB)
Allein nicht. Selbst bei INT4 braucht es etwa 69 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.
Mac mit Apple Silicon
Ja, mit genug Speicher. Bei INT4 braucht es etwa 69 GB, also einen Mac mit 96 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.
Selbst betreiben oder pro Token zahlen?
Selbst betreiben
Die günstigste Konfiguration in FP16, die wir gefunden haben, ist 6 × A40 48GB bei RunPod, etwa 3.446 $ im Monat im Dauerbetrieb. Lohnt sich bei gleichmäßigem Verkehr oder wenn die Daten auf eigenen Rechnern bleiben müssen.
Eine gehostete API nutzen
Unser Test von gpt-oss-120b zeigt, wo du es per API nutzen kannst und was das kostet. Bei wenig oder schwankendem Verkehr ist Zahlen pro Token meist günstiger.
Unseren Test lesenÄhnliche Modelle
Offene Modelle ähnlicher Größe.
- Laguna S 2.1Text117,6 Mrd. · etwa 260 GB FP16 · 511.510 ↓GPU-Bedarf
- GLM 4.5 AirText110,5 Mrd. · etwa 246 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- NVIDIA Nemotron 3 Super 120B A12B BF16Text123,6 Mrd. · etwa 274 GB FP16 · 916.254 ↓GPU-Bedarf
- Ornith-1.5-122BText125,1 Mrd. · etwa 276 GB FP16 · 312.882 ↓GPU-Bedarf
- Ling-3.0-flash-SanteText127,5 Mrd. · etwa 282 GB FP16 · 2699 ↓GPU-Bedarf
- Sarvam-105BText106 Mrd. · etwa 235 GB FP16 · 5176 ↓GPU-Bedarf
gpt-oss-120b: häufige Fragen
Wie viel VRAM braucht gpt-oss-120b?
Etwa 258 GB bei FP16, 136 GB bei INT8 und 69 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.
Was ist die günstigste GPU für gpt-oss-120b?
6 × A40 48GB (etwa 0,59 $ pro GPU / Stunde; nur mit 8 GPUs erhältlich; du brauchst 6) bei RunPod, für etwa 4,72 $ pro Stunde bei Inferenz in FP16 / BF16 mit 8K Kontext. Preise erfasst am 13. Nov. 2026; sie ändern sich oft.
Kann ich gpt-oss-120b auf einer einzelnen GPU feintunen?
Nicht auf einer GPU. Selbst QLoRA braucht etwa 112 GB, mehr als eine 80-GB-GPU fasst. LoRA braucht etwa 302 GB, volles Feintuning etwa 2.060 GB.
Wie werden diese Zahlen berechnet?
Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.
Läuft gpt-oss-120b auf einer Consumer-GPU wie der RTX 4090?
Allein nicht. Selbst bei INT4 braucht es etwa 69 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.
Passt gpt-oss-120b auf eine einzelne H100 80GB?
Ja, bei INT4 mit 8K Kontext.
Wie viele GPUs brauche ich für gpt-oss-120b?
Bei FP16 mit 8K Kontext: 4 × 80 GB, 6 × 48 GB oder 12 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.
Wie viel VRAM braucht gpt-oss-120b bei INT8?
Etwa 136 GB: 123 GB für die Gewichte, 0,3 GB für einen KV-Cache mit 8K und 13 GB Laufzeit-Overhead.
Was kostet es, gpt-oss-120b einen Monat lang rund um die Uhr zu betreiben?
Etwa 3.446 $ mit der günstigsten Konfiguration, die wir gefunden haben (6 × A40 48GB (etwa 0,59 $ pro GPU / Stunde; nur mit 8 GPUs erhältlich; du brauchst 6), 4,72 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 10.725 $ im Monat.
FP16, INT8 oder INT4: was soll ich nehmen?
FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 258 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 69 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.
Läuft gpt-oss-120b auf einem Mac?
Ja, mit genug Speicher. Bei INT4 braucht es etwa 69 GB, also einen Mac mit 96 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.
vLLM oder llama.cpp?
vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.
Preise erfasst am 13. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai sind weltweit).
So rechnen wir
- Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
- KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
- Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
- Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
- GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.