Calculateur GPU
De combien de GPU un modèle ouvert a-t-il besoin ?
Choisissez n’importe quel modèle ouvert sur Hugging Face. Nous calculons la mémoire qu’il demande, le nombre de GPU que cela représente et le coût approximatif sur AWS, Google Cloud, Azure et les clouds GPU.
Qwen3 0.6B Qwen/Qwen3-0.6B
Page dédiéeCalcul pour Qwen3 0.6B
Plus de réglages
Qwen3 0.6B demande environ 3,7 Go de mémoire GPU
Inférence (vLLM), FP16 / BF16, contexte de 8K tokens, une requête à la fois.
Où va la mémoire
- Poids 1,5 Go
- Cache KV 0,94 Go
- Surcoût du moteur 1,2 Go
- Total 3,7 Go
Le nombre de GPU laisse 10 % de chaque carte libre pour les pics. Prévoyez davantage si vous attendez de longs prompts ou beaucoup d’utilisateurs en même temps.
| Rang | Configuration | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) | Fournisseur |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBLa moins chèreAmpere · GDDR6X | 0,16 $US | 1 | 0,16 $US | 117 $US | Lium (s’ouvre dans un nouvel onglet)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,30 $US | 1 | 0,30 $US | 219 $US | Lium (s’ouvre dans un nouvel onglet)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,40 $US | 1 | 0,40 $US | 292 $US | Lium (s’ouvre dans un nouvel onglet)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,42 $US | 1 | 0,42 $US | 307 $US | Lium (s’ouvre dans un nouvel onglet)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,45 $US | 1 | 0,45 $US | 326 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 $US | 1 | 0,50 $US | 365 $US | RunPod (s’ouvre dans un nouvel onglet)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | 0,52 $US | 1 | 0,52 $US | 381 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | 0,53 $US | 1 | 0,53 $US | 384 $US | AWS (s’ouvre dans un nouvel onglet)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,75 $US | 1 | 0,75 $US | 548 $US | Lium (s’ouvre dans un nouvel onglet)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,80 $US | 1 | 0,80 $US | 585 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | 0,80 $US | 1 | 0,80 $US | 586 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | 1,01 $US | 1 | 1,01 $US | 734 $US | AWS (s’ouvre dans un nouvel onglet)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | 1,12 $US | 1 | 1,12 $US | 820 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | 1,39 $US | 1 | 1,39 $US | 1 015 $US | Lium (s’ouvre dans un nouvel onglet)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | 1,99 $US | 1 | 1,99 $US | 1 453 $US | Vultr (s’ouvre dans un nouvel onglet)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $US | 1 | 2,39 $US | 1 745 $US | RunPod (s’ouvre dans un nouvel onglet)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | 2,90 $US | 1 | 2,90 $US | 2 117 $US | Lium (s’ouvre dans un nouvel onglet)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | 3,06 $US | 1 | 3,06 $US | 2 234 $US | AWS (s’ouvre dans un nouvel onglet)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 $US | 1 | 3,19 $US | 2 329 $US | RunPod (s’ouvre dans un nouvel onglet)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 5,60 $US | 1 | 5,60 $US | 4 088 $US | Lium (s’ouvre dans un nouvel onglet)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,00 $US | 1 | 8,00 $US | 5 840 $US | Lium (s’ouvre dans un nouvel onglet)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 $US | 1vendue avec 4 GPU ; il vous en faut 1 | 42,00 $US | 30 660 $US | CoreWeave (s’ouvre dans un nouvel onglet)GB200 NVL72 |
| Fournisseur | Instance | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) |
|---|---|---|---|---|---|
| Lium (s’ouvre dans un nouvel onglet)La moins chère | 1x RTX 3090 Tiplace de marché mondiale | 0,16 $US | 1 × RTX 3090 24GB | environ 0,16 $US | environ 117 $US |
| Vast.ai (s’ouvre dans un nouvel onglet) | 1x RTX 3090 (median of 32 offers)place de marché mondiale | 0,26 $US | 1 × RTX 3090 24GB | environ 0,26 $US | environ 186 $US |
| RunPod (s’ouvre dans un nouvel onglet) | 1x RTX 3090 Tius | 0,46 $US | 1 × RTX 3090 24GB | environ 0,46 $US | environ 336 $US |
| AWS (s’ouvre dans un nouvel onglet) | g4dn.xlargeus-east-1 | 0,53 $US | 1 × T4 16GB | environ 0,53 $US | environ 384 $US |
| Azure (s’ouvre dans un nouvel onglet) | NC4as_T4_v3eastus | 0,53 $US | 1 × T4 16GB | environ 0,53 $US | environ 384 $US |
| Google Cloud (s’ouvre dans un nouvel onglet) | g2-standard-4us-central1 | 0,71 $US | 1 × L4 24GB | environ 0,71 $US | environ 516 $US |
| Lambda (s’ouvre dans un nouvel onglet) | 1x A6000us | 1,09 $US | 1 × RTX A6000 48GB | environ 1,09 $US | environ 796 $US |
| Nebius (s’ouvre dans un nouvel onglet) | 1x L40S 48GBeu/us | 1,55 $US | 1 × L40S 48GB | environ 1,55 $US | environ 1 132 $US |
| Vultr (s’ouvre dans un nouvel onglet) | vcg-l40s-16c-180g-48vramus | 1,67 $US | 1 × L40S 48GB | environ 1,67 $US | environ 1 220 $US |
| CoreWeave (s’ouvre dans un nouvel onglet) | GH200us | 6,50 $US | 1 × GH200 96GB | environ 6,50 $US | environ 4 745 $US |
Prix relevés le 16 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai et Lium sont mondiales).
Modèles similaires
Des modèles ouverts de taille comparable.
- Qwen3 0.6BTexte751,6 M · environ 3,7 Go FP16 · 835,3 k ↓Besoins en GPU
- gpt2 largeTexte811,8 M · environ 3 Go FP16 · 1,1 M ↓Besoins en GPU
- BitNet b1.58 2B4TTexte849,8 M · environ 3,2 Go FP16 · 8,9 k ↓Besoins en GPU
- Qwen3 0.6B BaseTexte596 M · environ 3,3 Go FP16 · 490,8 k ↓Besoins en GPU
- bloomz 560mTexte559,2 M · environ 2,7 Go FP16 · 789,1 k ↓Besoins en GPU
- Limite 1B - ViolettoTexte1 Md · environ 3,7 Go FP16 · 3,4 k ↓Besoins en GPU
Qwen3 0.6B : questions fréquentes
Combien de VRAM faut-il pour Qwen3 0.6B ?
Environ 3,7 Go en FP16, 2,9 Go en INT8 et 2,5 Go en INT4, avec un contexte de 8K et une requête à la fois. Un contexte plus long et davantage de requêtes en parallèle ajoutent du cache KV.
Quel est le GPU le moins cher pour faire tourner Qwen3 0.6B ?
1 × RTX 3090 24GB (environ 0,16 $US par GPU / heure) chez Lium, pour environ 0,16 $US de l’heure en inférence FP16 / BF16 avec un contexte de 8K. Prix relevés le 16 nov. 2026 ; ils changent souvent.
Peut-on faire le fine-tuning de Qwen3 0.6B sur un seul GPU ?
Oui, avec QLoRA : il faut environ 2,5 Go, ce qui tient sur un GPU de 80 Go. LoRA demande environ 3,7 Go et un fine-tuning complet environ 15 Go.
Comment ces chiffres sont-ils calculés ?
Les poids correspondent aux paramètres multipliés par les octets par paramètre (2 en FP16, 1 en INT8, 0,5 en INT4). Le cache KV dépend des couches, des têtes KV, de la taille de tête et de la longueur de contexte du modèle. Nous ajoutons environ 10 % plus 1 Go pour le moteur et remplissons chaque GPU à 90 %. Les prix sont les tarifs catalogue à la demande dans les régions des États-Unis, relevés sur la page publique de chaque fournisseur.
Qwen3 0.6B fonctionne-t-il sur un GPU grand public comme la RTX 4090 ?
Oui, en FP16 / BF16 avec un contexte de 8K : environ 3,7 Go tiennent dans les 24 Go de la carte.
Qwen3 0.6B tient-il sur une seule H100 80 Go ?
Oui, en FP16 / BF16, INT8, INT4 avec un contexte de 8K.
Combien de GPU faut-il pour Qwen3 0.6B ?
En FP16 avec un contexte de 8K : 1 × 80 Go, 1 × 48 Go ou 1 × 24 Go. En INT4, les poids prennent environ le quart de la mémoire.
Combien de VRAM faut-il pour Qwen3 0.6B en INT8 ?
Environ 2,9 Go : 0,79 Go pour les poids, 0,94 Go pour un cache KV de 8K et 1,2 Go de surcoût du moteur.
Combien coûte Qwen3 0.6B en fonctionnement 24/7 pendant un mois ?
Environ 117 $US avec la configuration la moins chère que nous avons trouvée (1 × RTX 3090 24GB (environ 0,16 $US par GPU / heure), 0,16 $US de l’heure pendant 730 heures). Le moins cher chez AWS, Google Cloud ou Azure revient à environ 384 $US par mois.
FP16, INT8 ou INT4 : lequel choisir ?
Le FP16 garde toute la qualité et demande le plus de mémoire (environ 3,7 Go ici). L’INT8 divise les poids par deux avec peu de perte pour la plupart des usages de chat. L’INT4 (AWQ, GPTQ ou GGUF Q4) les réduit au quart, environ 2,5 Go au total, avec une légère baisse de qualité, surtout visible en maths et en code.
Qwen3 0.6B fonctionne-t-il sur un Mac ?
Oui, avec assez de mémoire. En INT4, il demande environ 2,5 Go, donc un Mac avec 16 Go ou plus de mémoire unifiée (macOS en laisse environ les trois quarts au GPU). La génération sera plus lente que sur un GPU de centre de données.
vLLM ou llama.cpp ?
vLLM est conçu pour servir de nombreuses requêtes à la fois sur des GPU NVIDIA et AMD et réserve l’essentiel de la mémoire GPU au cache KV. llama.cpp lit les fichiers GGUF sur presque tout, Mac et CPU compris, et convient à une personne ou à une petite équipe. À précision égale, la mémoire nécessaire est proche.
Prix relevés le 16 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai et Lium sont mondiales).
Modèles populaires
Des pages dédiées avec les chiffres pour chaque précision.
- all-MiniLM-L6-v2Embeddings22,7 M · environ 1 Go FP16 · 167,5 M ↓Besoins en GPU
- Qwen3 0.6BTexte751,6 M · environ 3,7 Go FP16 · 15,4 M ↓Besoins en GPU
- Qwen3 14BTexte14,8 Md · environ 35 Go FP16 · 13,2 M ↓Besoins en GPU
- DeepSeek V3.2Texte685,4 Md · environ 1 509 Go FP16 · 10,4 M ↓Besoins en GPU
- Qwen3 Embedding 0.6BEmbeddings595,8 M · environ 2,3 Go FP16 · 7,6 M ↓Besoins en GPU
- multilingual e5 largeEmbeddings559,9 M · environ 2,2 Go FP16 · 7,3 M ↓Besoins en GPU
- bge large en v1.5Embeddings335,1 M · environ 1,7 Go FP16 · 6,8 M ↓Besoins en GPU
- Qwen3.8-27BVision27,8 Md · environ 63 Go FP16 · 6,5 M ↓Besoins en GPU
- GLM-5.3-FlashVision321,3 Md · environ 708 Go FP16 · 6,4 M ↓Besoins en GPU
- Qwen2.5 7B InstructTexte7,6 Md · environ 18 Go FP16 · 6,4 M ↓Besoins en GPU
- Qwen3.5 9BVision9,7 Md · environ 23 Go FP16 · 6,3 M ↓Besoins en GPU
- Qwen3 8BTexte8,2 Md · environ 20 Go FP16 · 6,1 M ↓Besoins en GPU
- Gemma 4Vision31,3 Md · environ 71 Go FP16 · 6,1 M ↓Besoins en GPU
- Qwen3 VL 8B InstructVision8,8 Md · environ 22 Go FP16 · 6 M ↓Besoins en GPU
- MiniMax H3 (Hailuo 3.0)Vidéo33,1 Md · environ 74 Go FP16 · 5,8 M ↓Besoins en GPU
- Unlimited OCRVision3,3 Md · environ 8,9 Go FP16 · 5,6 M ↓Besoins en GPU
- gpt-oss-20bTexte20,9 Md · environ 47 Go FP16 · 5,6 M ↓Besoins en GPU
- Qwen3.5 2BVision2,3 Md · environ 6,1 Go FP16 · 5,5 M ↓Besoins en GPU
- Qwen2.5 VL 7B InstructVision8,3 Md · environ 20 Go FP16 · 5,3 M ↓Besoins en GPU
- gemma 4 26B A4B itVision25,8 Md · environ 58 Go FP16 · 4,9 M ↓Besoins en GPU
- Qwen2.5 1.5B InstructTexte1,5 Md · environ 4,7 Go FP16 · 4,9 M ↓Besoins en GPU
- dolphin 2.9.1 yi 1.5 34bTexte34,4 Md · environ 79 Go FP16 · 4,8 M ↓Besoins en GPU
- Whisper large-v3-turboParole808,9 M · environ 2,8 Go FP16 · 4,7 M ↓Besoins en GPU
- snowflake arctic embed l v2.0Embeddings567,8 M · environ 2,2 Go FP16 · 4,7 M ↓Besoins en GPU
- Qwen3.5 4BVision4,7 Md · environ 12 Go FP16 · 4,4 M ↓Besoins en GPU
- OmniVoiceParole612,6 M · environ 2,3 Go FP16 · 4,3 M ↓Besoins en GPU
- Llama 3.1 8B InstructTexte8 Md · environ 20 Go FP16 · 4,1 M ↓Besoins en GPU
- Qwen2.5 0.5B InstructTexte494 M · environ 2,2 Go FP16 · 4 M ↓Besoins en GPU
- Qwen3 32BTexte32,8 Md · environ 75 Go FP16 · 4 M ↓Besoins en GPU
- Qwen3.6 35B A3BVision36 Md · environ 80 Go FP16 · 3,8 M ↓Besoins en GPU
- Qwen3 4BTexte4 Md · environ 11 Go FP16 · 3,1 M ↓Besoins en GPU
- Qwen3 VL 4B InstructVision4,4 Md · environ 12 Go FP16 · 2,9 M ↓Besoins en GPU
- Qwen3 4B Instruct 2507Texte4 Md · environ 11 Go FP16 · 2,7 M ↓Besoins en GPU
- Qwen3.8-Flash-NextVision180 Md · environ 397 Go FP16 · 2,7 M ↓Besoins en GPU
- Qwen3 1.7BTexte2 Md · environ 6,5 Go FP16 · 2,7 M ↓Besoins en GPU
- Qwen3.5 0.8BVision873,4 M · environ 3 Go FP16 · 2,6 M ↓Besoins en GPU
- Qwen3.6Vision27,8 Md · environ 63 Go FP16 · 2,4 M ↓Besoins en GPU
- moondream2Vision1,9 Md · environ 6 Go FP16 · 2,4 M ↓Besoins en GPU
- gpt-oss-120bTexte116,8 Md · environ 258 Go FP16 · 2,4 M ↓Besoins en GPU
- Qwen3 Embedding 4BEmbeddings4 Md · environ 9,8 Go FP16 · 2,2 M ↓Besoins en GPU
- mxbai embed large v1Embeddings335,1 M · environ 1,7 Go FP16 · 2,1 M ↓Besoins en GPU
- Qwen3-Embedding and Qwen3-RerankerEmbeddings7,6 Md · environ 18 Go FP16 · 2,1 M ↓Besoins en GPU
- bge reranker largeEmbeddings559,9 M · environ 2,2 Go FP16 · 2 M ↓Besoins en GPU
- Qwen3 Coder 30B A3B InstructTexte30,5 Md · environ 69 Go FP16 · 2 M ↓Besoins en GPU
- GLM-OCRVision1,3 Md · environ 3,9 Go FP16 · 1,9 M ↓Besoins en GPU
- SAM 3 (Segment Anything Model 3)Vision859,9 M · environ 2,9 Go FP16 · 1,9 M ↓Besoins en GPU
- Qwen2.5 VL 3B InstructVision3,8 Md · environ 9,6 Go FP16 · 1,9 M ↓Besoins en GPU
- Qwen2.5 3B InstructTexte3,1 Md · environ 8,1 Go FP16 · 1,9 M ↓Besoins en GPU
- multilingual e5 large instructEmbeddings559,9 M · environ 2,2 Go FP16 · 1,8 M ↓Besoins en GPU
- DeepSeek OCRVision3,3 Md · environ 8,9 Go FP16 · 1,8 M ↓Besoins en GPU
- Ternary Bonsai 2 9BVision1,5 Md · environ 5 Go FP16 · 1,7 M ↓Besoins en GPU
- SmolVLM2 500M Video InstructVision507,5 M · environ 2,5 Go FP16 · 1,7 M ↓Besoins en GPU
- OTel 2.0 LLM 31B IT QLoRATexte31,3 Md · environ 72 Go FP16 · 1,7 M ↓Besoins en GPU
- Qwen3.5 27BVision27,8 Md · environ 63 Go FP16 · 1,6 M ↓Besoins en GPU
- DeepSeek R1Texte684,5 Md · environ 1 508 Go FP16 · 1,6 M ↓Besoins en GPU
- DeepSeek V4 Flash 0731Texte304,2 Md · environ 671 Go FP16 · 1,6 M ↓Besoins en GPU
- Qwen3-ASR (1.7B and 0.6B)Parole2,3 Md · environ 6,2 Go FP16 · 1,6 M ↓Besoins en GPU
- Qwen2.5 Coder 14B InstructTexte14,8 Md · environ 35 Go FP16 · 1,6 M ↓Besoins en GPU
- GLM-5.3Texte753,3 Md · environ 1 659 Go FP16 · 1,5 M ↓Besoins en GPU
- Qwen2.5 Coder 7B InstructTexte7,6 Md · environ 18 Go FP16 · 1,5 M ↓Besoins en GPU
- Qwen3.6 35B A3B Uncensored HauhauCS AggressiveVision34,7 Md · environ 79 Go FP16 · 1,5 M ↓Besoins en GPU
- gte large en v1.5Embeddings434,1 M · environ 2 Go FP16 · 1,4 M ↓Besoins en GPU
- DeepSeek-V4.1-FlashVision763,2 Md · environ 1 681 Go FP16 · 1,4 M ↓Besoins en GPU
- DeepSeek V3Texte684,5 Md · environ 1 508 Go FP16 · 1,4 M ↓Besoins en GPU
- Qwen3.5 35B A3BVision36 Md · environ 80 Go FP16 · 1,3 M ↓Besoins en GPU
- jina embeddings v3Embeddings572,3 M · environ 2,3 Go FP16 · 1,3 M ↓Besoins en GPU
- Llama 3.2 1B InstructTexte1,2 Md · environ 4 Go FP16 · 1,3 M ↓Besoins en GPU
- Chandra OCR 2Vision5,3 Md · environ 13 Go FP16 · 1,3 M ↓Besoins en GPU
- InklingVision952,4 Md · environ 2 099 Go FP16 · 1,3 M ↓Besoins en GPU
- NVIDIA Nemotron 3 Nano 30B A3B BF16Texte31,6 Md · environ 71 Go FP16 · 1,2 M ↓Besoins en GPU
- Qwen2.5 0.5BTexte494 M · environ 2,2 Go FP16 · 1,2 M ↓Besoins en GPU
- Qwen3 VL 2B InstructVision2,1 Md · environ 6,7 Go FP16 · 1,2 M ↓Besoins en GPU
- GLM 4.7 FlashTexte31,2 Md · environ 70 Go FP16 · 1,2 M ↓Besoins en GPU
- InternVL2 1BVision938,2 M · environ 3,2 Go FP16 · 1,2 M ↓Besoins en GPU
- DeepSeek V4 FlashTexte290,9 Md · environ 642 Go FP16 · 1,2 M ↓Besoins en GPU
- w2v bert 2.0Embeddings580,5 M · environ 2,3 Go FP16 · 1,1 M ↓Besoins en GPU
- Qwen3 30B A3BTexte30,5 Md · environ 69 Go FP16 · 1,1 M ↓Besoins en GPU
- Qwen3-TTSParole1,9 Md · environ 5,2 Go FP16 · 1,1 M ↓Besoins en GPU
- gpt2 largeTexte811,8 M · environ 3 Go FP16 · 1,1 M ↓Besoins en GPU
- GLM 4.5 AirTexte110,5 Md · environ 246 Go FP16 · 1,1 M ↓Besoins en GPU
- GLM 5Texte753,9 Md · environ 1 660 Go FP16 · 1,1 M ↓Besoins en GPU
- LaBSEEmbeddings470,9 M · environ 2 Go FP16 · 1,1 M ↓Besoins en GPU
- Mistral 7B Instruct v0.2Texte7,2 Md · environ 18 Go FP16 · 1,1 M ↓Besoins en GPU
- gemma 3 4b itVision4,3 Md · environ 12 Go FP16 · 1 M ↓Besoins en GPU
- Llama 3.2 1B InstructTexte1,2 Md · environ 4 Go FP16 · 1 M ↓Besoins en GPU
- Nemotron 3 UltraTexte560,5 Md · environ 1 235 Go FP16 · 1 M ↓Besoins en GPU
- embeddinggemma 300mEmbeddings302,9 M · environ 1,7 Go FP16 · 972,2 k ↓Besoins en GPU
- VoxCPM2Parole2,3 Md · environ 6 Go FP16 · 971,7 k ↓Besoins en GPU
- MiniCPM5-2BTexte2,5 Md · environ 6,9 Go FP16 · 934,3 k ↓Besoins en GPU
- Qwen2 VL 2B InstructVision2,2 Md · environ 6,1 Go FP16 · 925,3 k ↓Besoins en GPU
- Inkling SmallVision266 Md · environ 588 Go FP16 · 916,1 k ↓Besoins en GPU
- MiniMax M2.5Texte228,7 Md · environ 506 Go FP16 · 907,6 k ↓Besoins en GPU
- NVIDIA Nemotron 3.5 Lightning 30B A3B BF16Texte31,6 Md · environ 71 Go FP16 · 907 k ↓Besoins en GPU
- Nanonets OCR2 3BVision3,8 Md · environ 9,6 Go FP16 · 898,7 k ↓Besoins en GPU
- AutoTrust Decider Pro Vision 27BVision27,8 Md · environ 63 Go FP16 · 893,9 k ↓Besoins en GPU
- OTel 2.0 LLM 31B ITTexte31,3 Md · environ 71 Go FP16 · 893,8 k ↓Besoins en GPU
- Hy3Texte298,8 Md · environ 661 Go FP16 · 885,6 k ↓Besoins en GPU
- Qwen3.5 0.8B BaseVision873,4 M · environ 3 Go FP16 · 881,9 k ↓Besoins en GPU
- Qwen3.8 27B Coder390 EfficientThink Opus5.5 GPT6Astra Grok4.7 DSV4Pro K3 SFT RLOO MTP DFlash2Vision27,3 Md · environ 63 Go FP16 · 876,9 k ↓Besoins en GPU
- MiniCPM-V 4.7 (35B-A3B and 1B)Vision35,2 Md · environ 79 Go FP16 · 876,3 k ↓Besoins en GPU
Notre méthode de calcul
- Poids. Paramètres multipliés par les octets par paramètre : 2 en FP16, 1 en INT8, 0,5 en INT4, plus environ 5 % pour les échelles de quantification en INT8 et INT4.
- Cache KV. 2 × couches × têtes KV × taille de tête × contexte × requêtes × 2 octets, d’après le config.json du modèle. Si une valeur manque, nous l’estimons et le signalons.
- Surcoût. Environ 10 % plus 1 Go pour le moteur, dans la ligne de ce que réserve vLLM.
- Fine-tuning. LoRA garde des poids en 16 bits et ajoute un petit adaptateur, son optimiseur et les activations. QLoRA fait de même sur des poids en 4 bits. Un fine-tuning complet demande environ 16 octets par paramètre avec Adam en précision mixte (poids, gradients et états de l’optimiseur), plus les activations.
- GPU. Nous remplissons chaque GPU à 90 % de sa mémoire et nous arrêtons à 8 par nœud. Les coûts sont les prix catalogue à la demande dans les régions des États-Unis ; pour les places de marché, nous montrons l’offre médiane.