Was ist gpt-oss-120b?
gpt-oss-120b ist das größere der beiden Open-Weight-Modelle von OpenAI, veröffentlicht im August 2025. Es hat 117 Milliarden Parameter, nutzt aber eine Mixture-of-Experts-Architektur, sodass pro Token nur 5,1 Milliarden aktiv sind. Zusammen mit 4-Bit-Gewichten (MXFP4) läuft es dadurch auf einer GPU mit 80 GB, etwa einer NVIDIA H100 oder AMD MI300X. Es hat einen Kontext von 128K Tokens.
Es ist ein reines Text-Reasoning-Modell mit den Aufwandsstufen low, medium und high, die im System-Prompt gesetzt werden, und eingebauter Unterstützung für Function Calling, Web-Browsing, Python-Ausführung und Structured Outputs. Es muss im harmony-Format von OpenAI angesprochen werden, und seine vollständige Chain of Thought ist zum Debuggen sichtbar, aber nicht für Endnutzer gedacht.
Die Gewichte sind unter Apache 2.0 kostenlos. Du betreibst es selbst oder über Hosts wie Amazon Bedrock, OpenRouter und die Cloud von Ollama. Stand Oktober 2026 hat OpenAI keinen Nachfolger veröffentlicht; die Richtlinienmodelle gpt-oss-safeguard sind eine separate Veröffentlichung.
Lohnt sich gpt-oss-120b?
gpt-oss-120b ist zu einem Gebrauchsgegenstand gereift: nicht das offene Modell mit den besten Werten, sondern das mit den wenigsten Bedingungen und den meisten Werkzeugen. Artificial Analysis gibt seiner Einstellung mit hohem Aufwand im Intelligence Index 12 Punkte, Platz 11 von 67 Open-Weight-Modellen zwischen 40B und 150B Parametern, bei einem Median von 8. IBMs dichtes Granite 4.2 30B erreicht im selben Index 13 Punkte mit etwa einem Viertel der Parameter.
OpenAIs eigene Zahlen waren zum Start stark: 62,4 % bei SWE-bench Verified mit hohem Aufwand, laut dem PDF der Modellkarte, und ein Wert von etwa 80 bei GPQA Diamond, alles mit den MXFP4-Gewichten gemessen. Das sind Selbstangaben. Die härtere Zahl in der Modellkarte ist 16,2 bei SWE-Bench Pro aus der Rangliste von Scale, und die kommt näher daran, wie es heute mit echter Arbeit in Repositorys umgeht.
Die Wirtschaftlichkeit hält es im Einsatz. Mit 5,1B aktiven Parametern pro Token ist es schnell: Artificial Analysis verzeichnet über alle Anbieter einen Median von 225,5 Tokens pro Sekunde, Platz vier von 27 in seiner Klasse, bei 0,15 $ pro Million Input-Tokens und 0,60 $ pro Million Output-Tokens. Selbst gehostet ist die Ollama-Version ein Download von 65 GB, der mit Platz für Kontext auf eine H100 passt.
Die Reibung liegt im Format. Laut Modellkarte wird das Modell außerhalb von OpenAIs harmony-Format „nicht korrekt funktionieren“; das Chat-Template von Transformers wendet es an, aber Code, der generate direkt aufruft, oder ein Serving-Stack mit altem Template liefert schlechtere Ausgaben. Der Kontext endet bei 128K, es gibt keine Bildeingabe, und Fine-Tuning des 120b braucht einen vollen H100-Knoten, während das 20b auf Consumer-Hardware passt.
Von den zehn Modellen, die in seiner Klasse vor ihm liegen, hebt es sich weiterhin durch das Ökosystem ab. Hugging Face zählte im letzten Monat fast 3 Millionen Downloads, 124 Fine-Tunes und 135 Quantisierungen. Ein Compliance-Team kann Apache 2.0 von einem amerikanischen Labor schnell freigeben, und welche Quantisierung ein Ingenieur auch braucht, sie existiert sehr wahrscheinlich schon.
Wo es sich lohnt
Ein Plattformingenieur mit einer H100 in einer privaten Cloud
Einen internen Assistenten betreiben, der nie Daten an Dritte schickt
vllm serve oder Ollama betreibt die MXFP4-Gewichte auf der einzelnen Karte mit 80 GB; der Reasoning-Aufwand wird pro Anfrage im System-Prompt gesetzt. Die Kosten sind die GPU selbst, ohne Rechnung pro Token, und nichts verlässt das Netzwerk.
Eine Leiterin der Support-Abläufe bei einem Fintech mit 300.000 Tickets im Monat
Über einen gehosteten Endpunkt günstig Antworten entwerfen und Tickets verschlagworten
Bei 2.000 Input- und 500 Output-Tokens pro Ticket und den von Artificial Analysis gelisteten Sätzen von 0,15 $/0,60 $ pro Million kostet der Monat etwa 180 $. Die Stufen Batch und Flex auf Bedrock halbieren das für nächtliche Arbeit.
Ein ML-Team bei einem Legal-Tech-Unternehmen
Ein Reasoning-Modell auf eigenen Verträgen feinabstimmen und an Kunden weitergeben
Apache 2.0 erlaubt beides, und Fine-Tuning des 120b braucht einen H100-Knoten. Das abgestimmte Modell behält das harmony-Format und den Kontext von 128K, lange Vertragskonvolute müssen also weiterhin aufgeteilt werden.
Bevor du dich festlegst
- Einrichtung
- ollama pull gpt-oss:120b (ein Download von 65 GB), lms get in LM Studio oder vllm serve; setz Reasoning: low, medium oder high im System-Prompt.
- Integrationen
- Lokal Transformers, vLLM, SGLang, Ollama, LM Studio und Docker Model Runner; Amazon Bedrock, OpenRouter und andere Hosts über OpenAI-kompatible APIs.
- Daten und Datenschutz
- Apache 2.0 ohne Nutzungsbeschränkungen in der Lizenz. Selbst gehostet bleiben Prompts auf deiner Hardware; gehostet richtet sich die Aufbewahrung nach den Bedingungen des jeweiligen Anbieters, und das reine EU-Routing von OpenRouter erfordert einen Business- oder Enterprise-Plan.
- Kosten im großen Maßstab
- 1 Mrd. Input- und 250 Mio. Output-Tokens im Monat kosten bei 0,15 $/0,60 $ pro Million etwa 300 $; Batch auf Bedrock halbiert den Satz. Selbst hosten braucht für Inferenz eine GPU mit 80 GB und fürs Fine-Tuning einen H100-Knoten.
- Grenzen
- Kontext von 128K, nur Text; harmony-Format erforderlich; die rohe Chain of Thought sollte vor Nutzern verborgen werden; Artificial Analysis führt es auf Platz 11 von 67 in seiner Klasse.
Was gut ist
- Apache 2.0 ohne Nutzungsbeschränkungen in der Lizenz
- Passt in MXFP4 auf eine H100 oder MI300X mit 80 GB
- Im Median etwa 225 Tokens pro Sekunde über alle Hosts
- 124 Fine-Tunes und 135 Quantisierungen auf Hugging Face
Was nicht
- Zehn offene Modelle seiner Größenklasse schneiden bei Artificial Analysis besser ab
- Kontext von 128K und nur Text
- Versagt stillschweigend außerhalb des harmony-Prompt-Formats
- 16,2 bei SWE-Bench Pro
Am besten für
Teams, die ein freizügig lizenziertes Reasoning-Modell mit ausgereiften Werkzeugen brauchen, das sie privat auf einer GPU betreiben können.
Alternativen zu gpt-oss-120b
gpt-oss-120b: häufige Fragen
- Lohnt sich gpt-oss-120b?
- Vierzehn Monate später ist gpt-oss-120b nicht mehr das stärkste offene Modell, bietet aber weiterhin die schlichteste Lizenz und die breiteste Unterstützung für Reasoning auf einer GPU mit 80 GB. Wir bewerten es mit 4.0 von 5.
- Was kostet gpt-oss-120b?
- Kostenlose Gewichte unter Apache 2.0; die Preise beim Hosting unterscheiden sich je nach Anbieter.
- Welche Nachteile hat gpt-oss-120b?
- Zehn offene Modelle seiner Größenklasse schneiden bei Artificial Analysis besser ab; Kontext von 128K und nur Text; Versagt stillschweigend außerhalb des harmony-Prompt-Formats; 16,2 bei SWE-Bench Pro.
- Für wen eignet sich gpt-oss-120b?
- Teams, die ein freizügig lizenziertes Reasoning-Modell mit ausgereiften Werkzeugen brauchen, das sie privat auf einer GPU betreiben können.
- Was kostet gpt-oss-120b für ein Team oder im Produktivbetrieb?
- 1 Mrd. Input- und 250 Mio. Output-Tokens im Monat kosten bei 0,15 $/0,60 $ pro Million etwa 300 $; Batch auf Bedrock halbiert den Satz. Selbst hosten braucht für Inferenz eine GPU mit 80 GB und fürs Fine-Tuning einen H100-Knoten.
- Ist gpt-oss-120b sicher für Firmendaten?
- Apache 2.0 ohne Nutzungsbeschränkungen in der Lizenz. Selbst gehostet bleiben Prompts auf deiner Hardware; gehostet richtet sich die Aufbewahrung nach den Bedingungen des jeweiligen Anbieters, und das reine EU-Routing von OpenRouter erfordert einen Business- oder Enterprise-Plan.
- Was sind die besten Alternativen zu gpt-oss-120b?
- Die nächsten Alternativen, die wir getestet haben, sind gpt-oss-20b, DeepSeek-V4-Pro, Qwen3.8-Max und Kimi K3.
Antworten geprüft am 26. Okt. 2026.