Calculadora de GPU
¿Cuánta GPU necesita un modelo abierto?
Elige cualquier modelo abierto de Hugging Face. Calculamos la memoria que necesita, cuántas GPU supone y lo que cuesta, más o menos, ejecutarlo en AWS, Google Cloud, Azure y las nubes de GPU.
Qwen3 0.6B Qwen/Qwen3-0.6B
Página propiaCálculo para Qwen3 0.6B
Más ajustes
Qwen3 0.6B necesita unos 3,7 GB de memoria de GPU
Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez.
En qué se va la memoria
- Pesos 1,5 GB
- Caché KV 0,94 GB
- Sobrecarga del motor 1,2 GB
- Total 3,7 GB
El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.
| Puesto | Configuración | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) | Proveedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMás barataAmpere · GDDR6X | 0,16 US$ | 1 | 0,16 US$ | 117 US$ | Lium (se abre en una pestaña nueva)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,30 US$ | 1 | 0,30 US$ | 219 US$ | Lium (se abre en una pestaña nueva)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,40 US$ | 1 | 0,40 US$ | 292 US$ | Lium (se abre en una pestaña nueva)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,42 US$ | 1 | 0,42 US$ | 307 US$ | Lium (se abre en una pestaña nueva)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,45 US$ | 1 | 0,45 US$ | 326 US$ | Vast.ai (se abre en una pestaña nueva)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 US$ | 1 | 0,50 US$ | 365 US$ | RunPod (se abre en una pestaña nueva)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | 0,52 US$ | 1 | 0,52 US$ | 381 US$ | Vast.ai (se abre en una pestaña nueva)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | 0,53 US$ | 1 | 0,53 US$ | 384 US$ | AWS (se abre en una pestaña nueva)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,75 US$ | 1 | 0,75 US$ | 548 US$ | Lium (se abre en una pestaña nueva)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,80 US$ | 1 | 0,80 US$ | 585 US$ | Vast.ai (se abre en una pestaña nueva)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | 0,80 US$ | 1 | 0,80 US$ | 586 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | 1,01 US$ | 1 | 1,01 US$ | 734 US$ | AWS (se abre en una pestaña nueva)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | 1,12 US$ | 1 | 1,12 US$ | 820 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | 1,39 US$ | 1 | 1,39 US$ | 1015 US$ | Lium (se abre en una pestaña nueva)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | 1,99 US$ | 1 | 1,99 US$ | 1453 US$ | Vultr (se abre en una pestaña nueva)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 US$ | 1 | 2,39 US$ | 1745 US$ | RunPod (se abre en una pestaña nueva)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | 2,90 US$ | 1 | 2,90 US$ | 2117 US$ | Lium (se abre en una pestaña nueva)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | 3,06 US$ | 1 | 3,06 US$ | 2234 US$ | AWS (se abre en una pestaña nueva)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 US$ | 1 | 3,19 US$ | 2329 US$ | RunPod (se abre en una pestaña nueva)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 5,60 US$ | 1 | 5,60 US$ | 4088 US$ | Lium (se abre en una pestaña nueva)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,00 US$ | 1 | 8,00 US$ | 5840 US$ | Lium (se abre en una pestaña nueva)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 US$ | 1se vende con 4 GPU; necesitas 1 | 42,00 US$ | 30.660 US$ | CoreWeave (se abre en una pestaña nueva)GB200 NVL72 |
| Proveedor | Instancia | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) |
|---|---|---|---|---|---|
| Lium (se abre en una pestaña nueva)Más barata | 1x RTX 3090 Timercado mundial | 0,16 US$ | 1 × RTX 3090 24GB | unos 0,16 US$ | unos 117 US$ |
| Vast.ai (se abre en una pestaña nueva) | 1x RTX 3090 (median of 32 offers)mercado mundial | 0,26 US$ | 1 × RTX 3090 24GB | unos 0,26 US$ | unos 186 US$ |
| RunPod (se abre en una pestaña nueva) | 1x RTX 3090 Tius | 0,46 US$ | 1 × RTX 3090 24GB | unos 0,46 US$ | unos 336 US$ |
| AWS (se abre en una pestaña nueva) | g4dn.xlargeus-east-1 | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Azure (se abre en una pestaña nueva) | NC4as_T4_v3eastus | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Google Cloud (se abre en una pesta ña nueva) | g2-standard-4us-central1 | 0,71 US$ | 1 × L4 24GB | unos 0,71 US$ | unos 516 US$ |
| Lambda (se abre en una pestaña nueva) | 1x A6000us | 1,09 US$ | 1 × RTX A6000 48GB | unos 1,09 US$ | unos 796 US$ |
| Nebius (se abre en una pestaña nueva) | 1x L40S 48GBeu/us | 1,55 US$ | 1 × L40S 48GB | unos 1,55 US$ | unos 1132 US$ |
| Vultr (se abre en una pestaña nueva) | vcg-l40s-16c-180g-48vramus | 1,67 US$ | 1 × L40S 48GB | unos 1,67 US$ | unos 1220 US$ |
| CoreWeave (se abre en una pestaña nueva) | GH200us | 6,50 US$ | 1 × GH200 96GB | unos 6,50 US$ | unos 4745 US$ |
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Modelos parecidos
Modelos abiertos de tamaño parecido.
- Qwen3 0.6BTexto751,6 M · unos 3,7 GB FP16 · 835,3 mil ↓Necesidades de GPU
- gpt2 largeTexto811,8 M · unos 3 GB FP16 · 1,1 M ↓Necesidades de GPU
- BitNet b1.58 2B4TTexto849,8 M · unos 3,2 GB FP16 · 8,9 mil ↓Necesidades de GPU
- Qwen3 0.6B BaseTexto596 M · unos 3,3 GB FP16 · 490,8 mil ↓Necesidades de GPU
- bloomz 560mTexto559,2 M · unos 2,7 GB FP16 · 789,1 mil ↓Necesidades de GPU
- Limite 1B - ViolettoTexto1035,3 M · unos 3,7 GB FP16 · 3,4 mil ↓Necesidades de GPU
Qwen3 0.6B: preguntas frecuentes
¿Cuánta VRAM necesita Qwen3 0.6B?
Unos 3,7 GB en FP16, 2,9 GB en INT8 y 2,5 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.
¿Cuál es la GPU más barata para ejecutar Qwen3 0.6B?
1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora) en Lium, por unos 0,16 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 16 nov 2026; cambian a menudo.
¿Puedo hacer ajuste fino de Qwen3 0.6B en una sola GPU?
Sí, con QLoRA: necesita unos 2,5 GB, que caben en una GPU de 80 GB. LoRA necesita unos 3,7 GB y un ajuste completo unos 15 GB.
¿Cómo se calculan estas cifras?
Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.
¿Funciona Qwen3 0.6B en una GPU de consumo como la RTX 4090?
Sí, en FP16 / BF16 con contexto de 8K: unos 3,7 GB caben en los 24 GB de la tarjeta.
¿Cabe Qwen3 0.6B en una sola H100 de 80 GB?
Sí, en FP16 / BF16, INT8, INT4 con contexto de 8K.
¿Cuántas GPU necesito para Qwen3 0.6B?
En FP16 con contexto de 8K: 1 × 80 GB, 1 × 48 GB o 1 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.
¿Cuánta VRAM necesita Qwen3 0.6B en INT8?
Unos 2,9 GB: 0,79 GB para los pesos, 0,94 GB para una caché KV de 8K y 1,2 GB de sobrecarga del motor.
¿Cuánto cuesta tener Qwen3 0.6B funcionando 24/7 durante un mes?
Unos 117 US$ con la configuración más barata que encontramos (1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora), 0,16 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 384 US$ al mes.
FP16, INT8 o INT4: ¿cuál uso?
FP16 conserva toda la calidad y necesita más memoria (unos 3,7 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 2,5 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.
¿Funciona Qwen3 0.6B en un Mac?
Sí, con memoria suficiente. En INT4 necesita unos 2,5 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿vLLM o llama.cpp?
vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Modelos populares
Páginas con las cifras calculadas en cada precisión.
- all-MiniLM-L6-v2Embeddings22,7 M · unos 1 GB FP16 · 167,5 M ↓Necesidades de GPU
- Qwen3 0.6BTexto751,6 M · unos 3,7 GB FP16 · 15,4 M ↓Necesidades de GPU
- Qwen3 14BTexto14,8 mil M · unos 35 GB FP16 · 13,2 M ↓Necesidades de GPU
- DeepSeek V3.2Texto685,4 mil M · unos 1509 GB FP16 · 10,4 M ↓Necesidades de GPU
- Qwen3 Embedding 0.6BEmbeddings595,8 M · unos 2,3 GB FP16 · 7,6 M ↓Necesidades de GPU
- multilingual e5 largeEmbeddings559,9 M · unos 2,2 GB FP16 · 7,3 M ↓Necesidades de GPU
- bge large en v1.5Embeddings335,1 M · unos 1,7 GB FP16 · 6,8 M ↓Necesidades de GPU
- Qwen3.8-27BVisión27,8 mil M · unos 63 GB FP16 · 6,5 M ↓Necesidades de GPU
- GLM-5.3-FlashVisión321,3 mil M · unos 708 GB FP16 · 6,4 M ↓Necesidades de GPU
- Qwen2.5 7B InstructTexto7615,6 M · unos 18 GB FP16 · 6,4 M ↓Necesidades de GPU
- Qwen3.5 9BVisión9653,1 M · unos 23 GB FP16 · 6,3 M ↓Necesidades de GPU
- Qwen3 8BTexto8190,7 M · unos 20 GB FP16 · 6,1 M ↓Necesidades de GPU
- Gemma 4Visión31,3 mil M · unos 71 GB FP16 · 6,1 M ↓Necesidades de GPU
- Qwen3 VL 8B InstructVisión8767,1 M · unos 22 GB FP16 · 6 M ↓Necesidades de GPU
- MiniMax H3 (Hailuo 3.0)Vídeo33,1 mil M · unos 74 GB FP16 · 5,8 M ↓Necesidades de GPU
- Unlimited OCRVisión3336,1 M · unos 8,9 GB FP16 · 5,6 M ↓Necesidades de GPU
- gpt-oss-20bTexto20,9 mil M · unos 47 GB FP16 · 5,6 M ↓Necesidades de GPU
- Qwen3.5 2BVisión2274,1 M · unos 6,1 GB FP16 · 5,5 M ↓Necesidades de GPU
- Qwen2.5 VL 7B InstructVisión8292,2 M · unos 20 GB FP16 · 5,3 M ↓Necesidades de GPU
- gemma 4 26B A4B itVisión25,8 mil M · unos 58 GB FP16 · 4,9 M ↓Necesidades de GPU
- Qwen2.5 1.5B InstructTexto1543,7 M · unos 4,7 GB FP16 · 4,9 M ↓Necesidades de GPU
- dolphin 2.9.1 yi 1.5 34bTexto34,4 mil M · unos 79 GB FP16 · 4,8 M ↓Necesidades de GPU
- Whisper large-v3-turboVoz808,9 M · unos 2,8 GB FP16 · 4,7 M ↓Necesidades de GPU
- snowflake arctic embed l v2.0Embeddings567,8 M · unos 2,2 GB FP16 · 4,7 M ↓Necesidades de GPU
- Qwen3.5 4BVisión4659,9 M · unos 12 GB FP16 · 4,4 M ↓Necesidades de GPU
- OmniVoiceVoz612,6 M · unos 2,3 GB FP16 · 4,3 M ↓Necesidades de GPU
- Llama 3.1 8B InstructTexto8030,3 M · unos 20 GB FP16 · 4,1 M ↓Necesidades de GPU
- Qwen2.5 0.5B InstructTexto494 M · unos 2,2 GB FP16 · 4 M ↓Necesidades de GPU
- Qwen3 32BTexto32,8 mil M · unos 75 GB FP16 · 4 M ↓Necesidades de GPU
- Qwen3.6 35B A3BVisión36 mil M · unos 80 GB FP16 · 3,8 M ↓Necesidades de GPU
- Qwen3 4BTexto4022,5 M · unos 11 GB FP16 · 3,1 M ↓Necesidades de GPU
- Qwen3 VL 4B InstructVisión4437,8 M · unos 12 GB FP16 · 2,9 M ↓Necesidades de GPU
- Qwen3 4B Instruct 2507Texto4022,5 M · unos 11 GB FP16 · 2,7 M ↓Necesidades de GPU
- Qwen3.8-Flash-NextVisión180 mil M · unos 397 GB FP16 · 2,7 M ↓Necesidades de GPU
- Qwen3 1.7BTexto2031,7 M · unos 6,5 GB FP16 · 2,7 M ↓Necesidades de GPU
- Qwen3.5 0.8BVisión873,4 M · unos 3 GB FP16 · 2,6 M ↓Necesidades de GPU
- Qwen3.6Visión27,8 mil M · unos 63 GB FP16 · 2,4 M ↓Necesidades de GPU
- moondream2Visión1927,2 M · unos 6 GB FP16 · 2,4 M ↓Necesidades de GPU
- gpt-oss-120bTexto116,8 mil M · unos 258 GB FP16 · 2,4 M ↓Necesidades de GPU
- Qwen3 Embedding 4BEmbeddings4021,8 M · unos 9,8 GB FP16 · 2,2 M ↓Necesidades de GPU
- mxbai embed large v1Embeddings335,1 M · unos 1,7 GB FP16 · 2,1 M ↓Necesidades de GPU
- Qwen3-Embedding and Qwen3-RerankerEmbeddings7567,3 M · unos 18 GB FP16 · 2,1 M ↓Necesidades de GPU
- bge reranker largeEmbeddings559,9 M · unos 2,2 GB FP16 · 2 M ↓Necesidades de GPU
- Qwen3 Coder 30B A3B InstructTexto30,5 mil M · unos 69 GB FP16 · 2 M ↓Necesidades de GPU
- GLM-OCRVisión1325,3 M · unos 3,9 GB FP16 · 1,9 M ↓Necesidades de GPU
- SAM 3 (Segment Anything Model 3)Visión859,9 M · unos 2,9 GB FP16 · 1,9 M ↓Necesidades de GPU
- Qwen2.5 VL 3B InstructVisión3754,6 M · unos 9,6 GB FP16 · 1,9 M ↓Necesidades de GPU
- Qwen2.5 3B InstructTexto3085,9 M · unos 8,1 GB FP16 · 1,9 M ↓Necesidades de GPU
- multilingual e5 large instructEmbeddings559,9 M · unos 2,2 GB FP16 · 1,8 M ↓Necesidades de GPU
- DeepSeek OCRVisión3336,1 M · unos 8,9 GB FP16 · 1,8 M ↓Necesidades de GPU
- Ternary Bonsai 2 9BVisión1470,6 M · unos 5 GB FP16 · 1,7 M ↓Necesidades de GPU
- SmolVLM2 500M Video InstructVisión507,5 M · unos 2,5 GB FP16 · 1,7 M ↓Necesidades de GPU
- OTel 2.0 LLM 31B IT QLoRATexto31,3 mil M · unos 72 GB FP16 · 1,7 M ↓Necesidades de GPU
- Qwen3.5 27BVisión27,8 mil M · unos 63 GB FP16 · 1,6 M ↓Necesidades de GPU
- DeepSeek R1Texto684,5 mil M · unos 1508 GB FP16 · 1,6 M ↓Necesidades de GPU
- DeepSeek V4 Flash 0731Texto304,2 mil M · unos 671 GB FP16 · 1,6 M ↓Necesidades de GPU
- Qwen3-ASR (1.7B and 0.6B)Voz2349,2 M · unos 6,2 GB FP16 · 1,6 M ↓Necesidades de GPU
- Qwen2.5 Coder 14B InstructTexto14,8 mil M · unos 35 GB FP16 · 1,6 M ↓Necesidades de GPU
- GLM-5.3Texto753,3 mil M · unos 1659 GB FP16 · 1,5 M ↓Necesidades de GPU
- Qwen2.5 Coder 7B InstructTexto7615,6 M · unos 18 GB FP16 · 1,5 M ↓Necesidades de GPU
- Qwen3.6 35B A3B Uncensored HauhauCS AggressiveVisión34,7 mil M · unos 79 GB FP16 · 1,5 M ↓Necesidades de GPU
- gte large en v1.5Embeddings434,1 M · unos 2 GB FP16 · 1,4 M ↓Necesidades de GPU
- DeepSeek-V4.1-FlashVisión763,2 mil M · unos 1681 GB FP16 · 1,4 M ↓Necesidades de GPU
- DeepSeek V3Texto684,5 mil M · unos 1508 GB FP16 · 1,4 M ↓Necesidades de GPU
- Qwen3.5 35B A3BVisión36 mil M · unos 80 GB FP16 · 1,3 M ↓Necesidades de GPU
- jina embeddings v3Embeddings572,3 M · unos 2,3 GB FP16 · 1,3 M ↓Necesidades de GPU
- Llama 3.2 1B InstructTexto1235,8 M · unos 4 GB FP16 · 1,3 M ↓Necesidades de GPU
- Chandra OCR 2Visión5295,6 M · unos 13 GB FP16 · 1,3 M ↓Necesidades de GPU
- InklingVisión952,4 mil M · unos 2099 GB FP16 · 1,3 M ↓Necesidades de GPU
- NVIDIA Nemotron 3 Nano 30B A3B BF16Texto31,6 mil M · unos 71 GB FP16 · 1,2 M ↓Necesidades de GPU
- Qwen2.5 0.5BTexto494 M · unos 2,2 GB FP16 · 1,2 M ↓Necesidades de GPU
- Qwen3 VL 2B InstructVisión2127,5 M · unos 6,7 GB FP16 · 1,2 M ↓Necesidades de GPU
- GLM 4.7 FlashTexto31,2 mil M · unos 70 GB FP16 · 1,2 M ↓Necesidades de GPU
- InternVL2 1BVisión938,2 M · unos 3,2 GB FP16 · 1,2 M ↓Necesidades de GPU
- DeepSeek V4 FlashTexto290,9 mil M · unos 642 GB FP16 · 1,2 M ↓Necesidades de GPU
- w2v bert 2.0Embeddings580,5 M · unos 2,3 GB FP16 · 1,1 M ↓Necesidades de GPU
- Qwen3 30B A3BTexto30,5 mil M · unos 69 GB FP16 · 1,1 M ↓Necesidades de GPU
- Qwen3-TTSVoz1916,7 M · unos 5,2 GB FP16 · 1,1 M ↓Necesidades de GPU
- gpt2 largeTexto811,8 M · unos 3 GB FP16 · 1,1 M ↓Necesidades de GPU
- GLM 4.5 AirTexto110,5 mil M · unos 246 GB FP16 · 1,1 M ↓Necesidades de GPU
- GLM 5Texto753,9 mil M · unos 1660 GB FP16 · 1,1 M ↓Necesidades de GPU
- LaBSEEmbeddings470,9 M · unos 2 GB FP16 · 1,1 M ↓Necesidades de GPU
- Mistral 7B Instruct v0.2Texto7241,7 M · unos 18 GB FP16 · 1,1 M ↓Necesidades de GPU
- gemma 3 4b itVisión4300,1 M · unos 12 GB FP16 · 1 M ↓Necesidades de GPU
- Llama 3.2 1B InstructTexto1235,8 M · unos 4 GB FP16 · 1 M ↓Necesidades de GPU
- Nemotron 3 UltraTexto560,5 mil M · unos 1235 GB FP16 · 1 M ↓Necesidades de GPU
- embeddinggemma 300mEmbeddings302,9 M · unos 1,7 GB FP16 · 972,2 mil ↓Necesidades de GPU
- VoxCPM2Voz2290 M · unos 6 GB FP16 · 971,7 mil ↓Necesidades de GPU
- MiniCPM5-2BTexto2516,8 M · unos 6,9 GB FP16 · 934,3 mil ↓Necesidades de GPU
- Qwen2 VL 2B InstructVisión2209 M · unos 6,1 GB FP16 · 925,3 mil ↓Necesidades de GPU
- Inkling SmallVisión266 mil M · unos 588 GB FP16 · 916,1 mil ↓Necesidades de GPU
- MiniMax M2.5Texto228,7 mil M · unos 506 GB FP16 · 907,6 mil ↓Necesidades de GPU
- NVIDIA Nemotron 3.5 Lightning 30B A3B BF16Texto31,6 mil M · unos 71 GB FP16 · 907 mil ↓Necesidades de GPU
- Nanonets OCR2 3BVisión3754,6 M · unos 9,6 GB FP16 · 898,7 mil ↓Necesidades de GPU
- AutoTrust Decider Pro Vision 27BVisión27,8 mil M · unos 63 GB FP16 · 893,9 mil ↓Necesidades de GPU
- OTel 2.0 LLM 31B ITTexto31,3 mil M · unos 71 GB FP16 · 893,8 mil ↓Necesidades de GPU
- Hy3Texto298,8 mil M · unos 661 GB FP16 · 885,6 mil ↓Necesidades de GPU
- Qwen3.5 0.8B BaseVisión873,4 M · unos 3 GB FP16 · 881,9 mil ↓Necesidades de GPU
- Qwen3.8 27B Coder390 EfficientThink Opus5.5 GPT6Astra Grok4.7 DSV4Pro K3 SFT RLOO MTP DFlash2Visión27,3 mil M · unos 63 GB FP16 · 876,9 mil ↓Necesidades de GPU
- MiniCPM-V 4.7 (35B-A3B and 1B)Visión35,2 mil M · unos 79 GB FP16 · 876,3 mil ↓Necesidades de GPU
Cómo calculamos
- Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
- Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
- Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
- Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
- GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.