gpt-oss-120b : configuration GPU requise, VRAM et GPU le moins cher
gpt-oss-120b compte 116,8 Md paramètres, publiés en FP4. C’est un modèle à mélange d’experts : 4 de ses 128 experts traitent chaque token, soit environ 5,8 Md paramètres, il génère donc à peu près à la vitesse d’un modèle de cette taille. Tous les experts doivent malgré tout résider en mémoire GPU, d’où des chiffres de mémoire ci-dessous pour le modèle complet. Il est publié sous apache-2.0, qui autorise l’usage commercial.
- Paramètres
- 116,8 Md
- Empreinte minimale (INT4)
- environ 69 Go
- GPU le moins cher par heure (FP16)
- 0,59 $US
- Type
- Texte
openai/gpt-oss-120b
Voir sur Hugging Face (s’ouvre dans un nouvel onglet)Lire notre test
- Paramètres 116,8 Md
- Actifs par token 5,8 Md
- Type Texte
- Tâche text-generation
- Contexte max. 128K
- Licence apache-2.0
- Téléchargements 2,4 M
- J’aime 5,5 k
Calcul pour gpt-oss-120b
Plus de réglages
gpt-oss-120b demande environ 258 Go de mémoire GPU
Inférence (vLLM), FP16 / BF16, contexte de 8K tokens, une requête à la fois.
Où va la mémoire
- Poids 234 Go
- Cache KV 0,3 Go
- Surcoût du moteur 24 Go
- Total 258 Go
Le nombre de GPU laisse 10 % de chaque carte libre pour les pics. Prévoyez davantage si vous attendez de longs prompts ou beaucoup d’utilisateurs en même temps.
| Rang | Configuration | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) | Fournisseur |
|---|---|---|---|---|---|---|
| 1 | 6 × A40 48GBLa moins chèreAmpere · GDDR6 | 0,59 $US | 6vendue avec 8 GPU ; il vous en faut 6 | 4,72 $US | 3 446 $US | RunPod (s’ouvre dans un nouvel onglet)8x A40 |
| 2 | 2 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $US | 2 | 4,78 $US | 3 489 $US | RunPod (s’ouvre dans un nouvel onglet)2x MI300X |
| 3 | 6 × RTX A6000 48GBAmpere · GDDR6 | 0,69 $US | 6vendue avec 8 GPU ; il vous en faut 6 | 5,52 $US | 4 030 $US | RunPod (s’ouvre dans un nouvel onglet)8x RTX A6000 |
| 4 | 3 × RTX PRO 6000 96GBBlackwell · GDDR7 | 1,72 $US | 3vendue avec 4 GPU ; il vous en faut 3 | 6,89 $US | 5 033 $US | Vast.ai (s’ouvre dans un nouvel onglet)4x RTX PRO 6000 S (median of 8 offers) |
| 5 | 4 × A100 80GBAmpere · HBM2e | 2,09 $US | 4 | 8,36 $US | 6 103 $US | RunPod (s’ouvre dans un nouvel onglet)4x A100 PCIe |
| 6 | 6 × L40S 48GBAda Lovelace · GDDR6 | 1,09 $US | 6vendue avec 8 GPU ; il vous en faut 6 | 8,72 $US | 6 366 $US | RunPod (s’ouvre dans un nouvel onglet)8x L40S |
| 7 | 6 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 1,09 $US | 6vendue avec 8 GPU ; il vous en faut 6 | 8,72 $US | 6 366 $US | RunPod (s’ouvre dans un nouvel onglet)8x RTX 6000 Ada |
| 8 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 $US | 1 | 8,99 $US | 6 563 $US | RunPod (s’ouvre dans un nouvel onglet)1x B300 |
| 9 | 4 × H100 80GBHopper · HBM3 | 2,89 $US | 4 | 11,56 $US | 8 439 $US | RunPod (s’ouvre dans un nouvel onglet)4x H100 PCIe |
| 10 | 4 × H100 NVL 94GBHopper · HBM3 | 3,19 $US | 4 | 12,76 $US | 9 315 $US | RunPod (s’ouvre dans un nouvel onglet)4x H100 NVL |
| 11 | 3 × H200 141GBHopper · HBM3e | 3,79 $US | 3vendue avec 4 GPU ; il vous en faut 3 | 15,16 $US | 11 067 $US | RunPod (s’ouvre dans un nouvel onglet)4x H200 NVL |
| 12 | 2 × B200 180GBBlackwell · HBM3e | 7,89 $US | 2 | 15,78 $US | 11 519 $US | Lambda (s’ouvre dans un nouvel onglet)2x B200 SXM6 |
| 13 | 8 × A100 40GBAmpere · HBM2 | 1,99 $US | 8 | 15,92 $US | 11 622 $US | Lambda (s’ouvre dans un nouvel onglet)8x HGX A100 |
| 14 | 2 × GB200 186GBBlackwell · HBM3e | 10,50 $US | 2vendue avec 4 GPU ; il vous en faut 2 | 42,00 $US | 30 660 $US | CoreWeave (s’ouvre dans un nouvel onglet)GB200 NVL72 |
| Plus de 8 : plusieurs nœuds nécessaires: RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| Fournisseur | Instance | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) |
|---|---|---|---|---|---|
| RunPod (s’ouvre dans un nouvel onglet)La moins chère | 8x A40us | 0,59 $US | 6 × A40 48GB vendue avec 8 GPU ; il vous en faut 6 | environ 4,72 $US | environ 3 446 $US |
| Vast.ai (s’ouvre dans un nouvel onglet) | 4x RTX PRO 6000 S (median of 8 offers)place de marché mondiale | 1,72 $US | 3 × RTX PRO 6000 96GB vendue avec 4 GPU ; il vous en faut 3 | environ 6,89 $US | environ 5 033 $US |
| Nebius (s’ouvre dans un nouvel onglet) | 1x B300 288GBeu/us | 9,50 $US | 1 × B300 288GB | environ 9,50 $US | environ 6 935 $US |
| Vultr (s’ouvre dans un nouvel onglet) | vbm-48c-1024gb-4-a100-gpu (bare metal)us | 2,40 $US | 4 × A100 80GB | environ 9,59 $US | environ 7 000 $US |
| Azure (s’ouvre dans un nouvel onglet) | NC96ads_A100_v4eastus | 3,67 $US | 4 × A100 80GB | environ 14,69 $US | environ 10 725 $US |
| Lambda (s’ouvre dans un nouvel onglet) | 2x B200 SXM6us | 7,89 $US | 2 × B200 180GB | environ 15,78 $US | environ 11 519 $US |
| AWS (s’ouvre dans un nouvel onglet) | g7e.24xlargeus-east-1 | 4,14 $US | 3 × RTX PRO 6000 96GB vendue avec 4 GPU ; il vous en faut 3 | environ 16,57 $US | environ 12 098 $US |
| Google Cloud (s’ouvre dans un nouvel onglet) | g4-standard-192us-central1 | 4,50 $US | 3 × RTX PRO 6000 96GB vendue avec 4 GPU ; il vous en faut 3 | environ 18,00 $US | environ 13 140 $US |
| CoreWeave (s’ouvre dans un nouvel onglet) | L40Sus | 2,25 $US | 6 × L40S 48GB vendue avec 8 GPU ; il vous en faut 6 | environ 18,00 $US | environ 13 140 $US |
Prix relevés le 13 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai sont mondiales).
Mémoire par précision et par usage
| Précision | Inférence | Fine-tuning LoRA | Fine-tuning QLoRA | Fine-tuning complet |
|---|---|---|---|---|
| FP16 / BF16 | 258 Go | 302 Go | – | 2 060 Go |
| INT8 | 136 Go | – | – | – |
| INT4 | 69 Go | – | 112 Go | – |
Le GPU le moins cher par précision
Inférence avec un contexte de 8K et une requête à la fois.
FP16 / BF16
environ 258 Go · 8K tokens
Les poids tels que publiés. Aucune perte, mais l’empreinte la plus lourde.
6 × A40 48GB
RunPod (s’ouvre dans un nouvel onglet) · 8x A40
vendue avec 8 GPU ; il vous en faut 6- Par GPU / h
- 0,59 $US
- GPU nécessaires
- 6
- Total / h
- environ 4,72 $US
- par mois, 24/7, environ
- 3 446 $US
INT8
environ 136 Go · 8K tokens
Des poids deux fois plus légers. Pour le chat et le RAG, la différence se voit à peine.
4 × A40 48GB
RunPod (s’ouvre dans un nouvel onglet) · 4x A40
- Par GPU / h
- 0,59 $US
- GPU nécessaires
- 4
- Total / h
- environ 2,36 $US
- par mois, 24/7, environ
- 1 723 $US
INT4
environ 69 Go · 8K tokens
Des poids quatre fois plus légers. Les petites pertes apparaissent d’abord en maths et en code.
1 × RTX PRO 6000 96GB
RunPod (s’ouvre dans un nouvel onglet) · 1x RTX PRO 6000 MaxQ
- Par GPU / h
- 0,50 $US
- GPU nécessaires
- 1
- Total / h
- environ 0,50 $US
- par mois, 24/7, environ
- 365 $US
Inférence ou fine-tuning
Inférence (FP16)
1×
de la mémoire nécessaire à l’inférence
258 Go
6 × A40 48GB · environ 4,72 $US
Fine-tuning LoRA
1,2×
de la mémoire nécessaire à l’inférence
302 Go
7 × A40 48GB · environ 4,72 $US
Fine-tuning QLoRA
0,4×
de la mémoire nécessaire à l’inférence
112 Go
3 × A40 48GB · environ 2,36 $US
Fine-tuning complet
8×
de la mémoire nécessaire à l’inférence
2 060 Go
8 × B300 288GB · environ 71,92 $US
Pour le servir en FP16, 6 × A40 48GB (RunPod) suffit. LoRA demande 7 × A40 48GB (RunPod), QLoRA 3 × A40 48GB (RunPod) et un fine-tuning complet 8 × B300 288GB (RunPod). L’entraînement garde en mémoire les activations et l’état de l’optimiseur en plus des poids, d’où un besoin fréquent de plus de GPU que pour servir le même modèle.
Fonctionne-t-il sur un Mac ou une seule RTX 4090 ?
RTX 4090 (24 Go)
Pas seule. Même en INT4, il demande environ 69 Go, plus que les 24 Go de la carte. Deux cartes ou plus, ou un GPU de centre de données plus grand, suffisent.
Mac avec puce Apple
Oui, avec assez de mémoire. En INT4, il demande environ 69 Go, donc un Mac avec 96 Go ou plus de mémoire unifiée (macOS en laisse environ les trois quarts au GPU). La génération sera plus lente que sur un GPU de centre de données.
L’héberger vous-même ou payer au token ?
L’héberger vous-même
La configuration FP16 la moins chère que nous ayons trouvée est 6 × A40 48GB chez RunPod, environ 3 446 $US par mois en continu. Intéressant pour un trafic régulier ou des données qui doivent rester sur vos machines.
Passer par une API hébergée
Notre test de gpt-oss-120b indique où l’utiliser via une API et à quel prix. Payer au token revient souvent moins cher pour un trafic faible ou irrégulier.
Lire notre testModèles similaires
Des modèles ouverts de taille comparable.
- Laguna S 2.1Texte117,6 Md · environ 260 Go FP16 · 511,5 k ↓Besoins en GPU
- GLM 4.5 AirTexte110,5 Md · environ 246 Go FP16 · 1,2 M ↓Besoins en GPU
- NVIDIA Nemotron 3 Super 120B A12B BF16Texte123,6 Md · environ 274 Go FP16 · 916,3 k ↓Besoins en GPU
- Ornith-1.5-122BTexte125,1 Md · environ 276 Go FP16 · 312,9 k ↓Besoins en GPU
- Ling-3.0-flash-SanteTexte127,5 Md · environ 282 Go FP16 · 2,7 k ↓Besoins en GPU
- Sarvam-105BTexte106 Md · environ 235 Go FP16 · 5,2 k ↓Besoins en GPU
gpt-oss-120b : questions fréquentes
Combien de VRAM faut-il pour gpt-oss-120b ?
Environ 258 Go en FP16, 136 Go en INT8 et 69 Go en INT4, avec un contexte de 8K et une requête à la fois. Un contexte plus long et davantage de requêtes en parallèle ajoutent du cache KV.
Quel est le GPU le moins cher pour faire tourner gpt-oss-120b ?
6 × A40 48GB (environ 0,59 $US par GPU / heure; vendue avec 8 GPU ; il vous en faut 6) chez RunPod, pour environ 4,72 $US de l’heure en inférence FP16 / BF16 avec un contexte de 8K. Prix relevés le 13 nov. 2026 ; ils changent souvent.
Peut-on faire le fine-tuning de gpt-oss-120b sur un seul GPU ?
Pas sur un seul GPU. Même QLoRA demande environ 112 Go, plus que ce que contient un GPU de 80 Go. LoRA demande environ 302 Go et un fine-tuning complet environ 2 060 Go.
Comment ces chiffres sont-ils calculés ?
Les poids correspondent aux paramètres multipliés par les octets par paramètre (2 en FP16, 1 en INT8, 0,5 en INT4). Le cache KV dépend des couches, des têtes KV, de la taille de tête et de la longueur de contexte du modèle. Nous ajoutons environ 10 % plus 1 Go pour le moteur et remplissons chaque GPU à 90 %. Les prix sont les tarifs catalogue à la demande dans les régions des États-Unis, relevés sur la page publique de chaque fournisseur.
gpt-oss-120b fonctionne-t-il sur un GPU grand public comme la RTX 4090 ?
Pas seule. Même en INT4, il demande environ 69 Go, plus que les 24 Go de la carte. Deux cartes ou plus, ou un GPU de centre de données plus grand, suffisent.
gpt-oss-120b tient-il sur une seule H100 80 Go ?
Oui, en INT4 avec un contexte de 8K.
Combien de GPU faut-il pour gpt-oss-120b ?
En FP16 avec un contexte de 8K : 4 × 80 Go, 6 × 48 Go ou 12 × 24 Go. En INT4, les poids prennent environ le quart de la mémoire.
Combien de VRAM faut-il pour gpt-oss-120b en INT8 ?
Environ 136 Go : 123 Go pour les poids, 0,3 Go pour un cache KV de 8K et 13 Go de surcoût du moteur.
Combien coûte gpt-oss-120b en fonctionnement 24/7 pendant un mois ?
Environ 3 446 $US avec la configuration la moins chère que nous avons trouvée (6 × A40 48GB (environ 0,59 $US par GPU / heure; vendue avec 8 GPU ; il vous en faut 6), 4,72 $US de l’heure pendant 730 heures). Le moins cher chez AWS, Google Cloud ou Azure revient à environ 10 725 $US par mois.
FP16, INT8 ou INT4 : lequel choisir ?
Le FP16 garde toute la qualité et demande le plus de mémoire (environ 258 Go ici). L’INT8 divise les poids par deux avec peu de perte pour la plupart des usages de chat. L’INT4 (AWQ, GPTQ ou GGUF Q4) les réduit au quart, environ 69 Go au total, avec une légère baisse de qualité, surtout visible en maths et en code.
gpt-oss-120b fonctionne-t-il sur un Mac ?
Oui, avec assez de mémoire. En INT4, il demande environ 69 Go, donc un Mac avec 96 Go ou plus de mémoire unifiée (macOS en laisse environ les trois quarts au GPU). La génération sera plus lente que sur un GPU de centre de données.
vLLM ou llama.cpp ?
vLLM est conçu pour servir de nombreuses requêtes à la fois sur des GPU NVIDIA et AMD et réserve l’essentiel de la mémoire GPU au cache KV. llama.cpp lit les fichiers GGUF sur presque tout, Mac et CPU compris, et convient à une personne ou à une petite équipe. À précision égale, la mémoire nécessaire est proche.
Prix relevés le 13 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai sont mondiales).
Notre méthode de calcul
- Poids. Paramètres multipliés par les octets par paramètre : 2 en FP16, 1 en INT8, 0,5 en INT4, plus environ 5 % pour les échelles de quantification en INT8 et INT4.
- Cache KV. 2 × couches × têtes KV × taille de tête × contexte × requêtes × 2 octets, d’après le config.json du modèle. Si une valeur manque, nous l’estimons et le signalons.
- Surcoût. Environ 10 % plus 1 Go pour le moteur, dans la ligne de ce que réserve vLLM.
- Fine-tuning. LoRA garde des poids en 16 bits et ajoute un petit adaptateur, son optimiseur et les activations. QLoRA fait de même sur des poids en 4 bits. Un fine-tuning complet demande environ 16 octets par paramètre avec Adam en précision mixte (poids, gradients et états de l’optimiseur), plus les activations.
- GPU. Nous remplissons chaque GPU à 90 % de sa mémoire et nous arrêtons à 8 par nœud. Les coûts sont les prix catalogue à la demande dans les régions des États-Unis ; pour les places de marché, nous montrons l’offre médiane.