Requisitos de GPU de Qwen3 32B: VRAM y GPU más barata
Qwen3 32B tiene 32,8 mil M parámetros, publicados en BF16. Se publica con licencia apache-2.0, que permite el uso comercial.
- Parámetros
- 32,8 mil M
- Mínimo de memoria (INT4)
- unos 22 GB
- GPU más barata por hora (FP16)
- 0,50 US$
- Tipo
- Texto
Qwen/Qwen3-32B
- Parámetros 32,8 mil M
- Tipo Texto
- Tarea text-generation
- Contexto máximo 40K
- Licencia apache-2.0
- Descargas 3,1 M
- Me gusta 794
Cálculo para Qwen3 32B
Más ajustes
Qwen3 32B necesita unos 75 GB de memoria de GPU
Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez.
En qué se va la memoria
- Pesos 66 GB
- Caché KV 2,1 GB
- Sobrecarga del motor 7,8 GB
- Total 75 GB
El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.
| Puesto | Configuración | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) | Proveedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX PRO 6000 96GBMás barataBlackwell · GDDR7 | 0,50 US$ | 1 | 0,50 US$ | 365 US$ | RunPod (se abre en una pestaña nueva)1x RTX PRO 6000 MaxQ |
| 2 | 4 × RTX 3090 24GBAmpere · GDDR6X | 0,26 US$ | 4 | 1,06 US$ | 772 US$ | Vast.ai (se abre en una pestaña nueva)4x RTX 3090 (median of 5 offers) |
| 3 | 2 × A40 48GBAmpere · GDDR6 | 0,59 US$ | 2 | 1,18 US$ | 861 US$ | RunPod (se abre en una pestaña nueva)2x A40 |
| 4 | 2 × RTX A6000 48GBAmpere · GDDR6 | 0,69 US$ | 2 | 1,38 US$ | 1007 US$ | RunPod (se abre en una pestaña nueva)2x RTX A6000 |
| 5 | 2 × L40S 48GBAda Lovelace · GDDR6 | 0,79 US$ | 2 | 1,57 US$ | 1150 US$ | Vast.ai (se abre en una pestaña nueva)2x L40S (median of 4 offers) |
| 6 | 1 × GH200 96GBHopper · HBM3 | 1,99 US$ | 1 | 1,99 US$ | 1453 US$ | Vultr (se abre en una pestaña nueva)vbm-72c-480gb-gh200-gpu (bare metal) |
| 7 | 4 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,53 US$ | 4 | 2,14 US$ | 1561 US$ | Vast.ai (se abre en una pestaña nueva)4x RTX 4090 (median of 14 offers) |
| 8 | 2 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 1,09 US$ | 2 | 2,18 US$ | 1591 US$ | RunPod (se abre en una pestaña nueva)2x RTX 6000 Ada |
| 9 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 US$ | 1 | 2,39 US$ | 1745 US$ | RunPod (se abre en una pestaña nueva)1x MI300X |
| 10 | 4 × L4 24GBAda Lovelace · GDDR6 | 0,69 US$ | 4 | 2,76 US$ | 2015 US$ | RunPod (se abre en una pestaña nueva)4x L4 |
| 11 | 3 × RTX 5090 32GBBlackwell · GDDR7 | 0,73 US$ | 3se vende con 4 GPU; necesitas 3 | 2,94 US$ | 2143 US$ | Vast.ai (se abre en una pestaña nueva)4x RTX 5090 (median of 35 offers) |
| 12 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 US$ | 1 | 3,19 US$ | 2329 US$ | RunPod (se abre en una pestaña nueva)1x H100 NVL |
| 13 | 1 × H200 141GBHopper · HBM3e | 3,79 US$ | 1 | 3,79 US$ | 2767 US$ | RunPod (se abre en una pestaña nueva)1x H200 NVL |
| 14 | 2 × A100 80GBAmpere · HBM2e | 2,09 US$ | 2 | 4,18 US$ | 3051 US$ | RunPod (se abre en una pestaña nueva)2x A100 PCIe |
| 15 | 4 × A10 24GBAmpere · GDDR6 | 1,42 US$ | 4 | 5,67 US$ | 4141 US$ | AWS (se abre en una pestaña nueva)g5.12xlarge |
| 16 | 2 × H100 80GBHopper · HBM3 | 2,89 US$ | 2 | 5,78 US$ | 4219 US$ | RunPod (se abre en una pestaña nueva)2x H100 PCIe |
| 17 | 6 × V100 16GBVolta · HBM2 | 0,79 US$ | 6se vende con 8 GPU; necesitas 6 | 6,32 US$ | 4614 US$ | Lambda (se abre en una pestaña nueva)8x Tesla V100 |
| 18 | 6 × T4 16GBTuring · GDDR6 | 0,98 US$ | 6se vende con 8 GPU; necesitas 6 | 7,82 US$ | 5712 US$ | AWS (se abre en una pestaña nueva)g4dn.metal |
| 19 | 3 × A100 40GBAmpere · HBM2 | 1,99 US$ | 3se vende con 4 GPU; necesitas 3 | 7,96 US$ | 5811 US$ | Lambda (se abre en una pestaña nueva)4x A100 PCIe |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 7,99 US$ | 1 | 7,99 US$ | 5833 US$ | RunPod (se abre en una pestaña nueva)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 US$ | 1 | 8,99 US$ | 6563 US$ | RunPod (se abre en una pestaña nueva)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 US$ | 1se vende con 4 GPU; necesitas 1 | 42,00 US$ | 30.660 US$ | CoreWeave (se abre en una pestaña nueva)GB200 NVL72 |
| Proveedor | Instancia | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) |
|---|---|---|---|---|---|
| RunPod (se abre en una pestaña nueva)Más barata | 1x RTX PRO 6000 MaxQus | 0,50 US$ | 1 × RTX PRO 6000 96GB | unos 0,50 US$ | unos 365 US$ |
| Vast.ai (se abre en una pestaña nueva) | 4x RTX 3090 (median of 5 offers)mercado mundial | 0,26 US$ | 4 × RTX 3090 24GB | unos 1,06 US$ | unos 772 US$ |
| Nebius (se abre en una pestaña nueva) | 1x RTX PRO 6000 96GBeu/us | 1,80 US$ | 1 × RTX PRO 6000 96GB | unos 1,80 US$ | unos 1314 US$ |
| Vultr (se abre en una pestaña nueva) | vbm-72c-480gb-gh200-gpu (bare metal)us | 1,99 US$ | 1 × GH200 96GB | unos 1,99 US$ | unos 1453 US$ |
| Lambda (se abre en una pestaña nueva) | 2x A6000us | 1,09 US$ | 2 × RTX A6000 48GB | unos 2,18 US$ | unos 1591 US$ |
| AWS (se abre en una pestaña nueva) | g7e.2xlargeus-east-1 | 3,36 US$ | 1 × RTX PRO 6000 96GB | unos 3,36 US$ | unos 2455 US$ |
| Google Cloud (se abre en una pestaña nueva) | g2-standard-48us-central1 | 1,00 US$ | 4 × L4 24GB | unos 4,00 US$ | unos 2921 US$ |
| CoreWeave (se abre en una pestaña nueva) | GH200us | 6,50 US$ | 1 × GH200 96GB | unos 6,50 US$ | unos 4745 US$ |
| Azure (se abre en una pestaña nueva) | NC40ads_H100_v5eastus | 6,98 US$ | 1 × H100 NVL 94GB | unos 6,98 US$ | unos 5095 US$ |
Precios recogidos el 13 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai son mundiales).
Memoria por precisión y uso
| Precisión | Inferencia | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 75 GB | 92 GB | – | 585 GB |
| INT8 | 41 GB | – | – | – |
| INT4 | 22 GB | – | 39 GB | – |
La GPU más barata por precisión
Inferencia con contexto de 8K y una petición a la vez.
FP16 / BF16
unos 75 GB · 8K tokens
Los pesos tal como se publican. Sin pérdidas, pero ocupa más.
1 × RTX PRO 6000 96GB
RunPod (se abre en una pestaña nueva) · 1x RTX PRO 6000 MaxQ
- Por GPU / h
- 0,50 US$
- GPU necesarias
- 1
- Total / h
- unos 0,50 US$
- al mes, 24/7, aprox.
- 365 US$
INT8
unos 41 GB · 8K tokens
Pesos a la mitad de tamaño. En chat y RAG apenas se nota.
1 × RTX PRO 6000 96GB
RunPod (se abre en una pestaña nueva) · 1x RTX PRO 6000 MaxQ
- Por GPU / h
- 0,50 US$
- GPU necesarias
- 1
- Total / h
- unos 0,50 US$
- al mes, 24/7, aprox.
- 365 US$
INT4
unos 22 GB · 8K tokens
Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.
2 × V100 16GB
Vast.ai (se abre en una pestaña nueva) · 2x Tesla V100 (median of 4 offers)
- Por GPU / h
- 0,15 US$
- GPU necesarias
- 2
- Total / h
- unos 0,30 US$
- al mes, 24/7, aprox.
- 220 US$
Inferencia frente a ajuste fino
Inferencia (FP16)
1×
de la memoria que pide la inferencia
75 GB
1 × RTX PRO 6000 96GB · unos 0,50 US$
Ajuste LoRA
1,2×
de la memoria que pide la inferencia
92 GB
3 × A40 48GB · unos 2,36 US$
Ajuste QLoRA
0,5×
de la memoria que pide la inferencia
39 GB
1 × RTX PRO 6000 96GB · unos 0,50 US$
Ajuste completo
7,8×
de la memoria que pide la inferencia
585 GB
4 × MI300X 192GB · unos 9,56 US$
Para servirlo en FP16 basta con 1 × RTX PRO 6000 96GB (RunPod). LoRA necesita 3 × A40 48GB (RunPod), QLoRA 1 × RTX PRO 6000 96GB (RunPod) y un ajuste completo 4 × MI300X 192GB (RunPod). Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.
¿Funciona en un Mac o en una sola RTX 4090?
RTX 4090 (24 GB)
No por sí sola. Incluso en INT4 necesita unos 22 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.
Mac con Apple silicon
Sí, con memoria suficiente. En INT4 necesita unos 22 GB, así que un Mac con 32 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
Modelos parecidos
Modelos abiertos de tamaño parecido.
- Qwen2.5 32B InstructTexto32,8 mil M · unos 75 GB FP16 · 739,2 mil ↓Necesidades de GPU
- Qwen2.5 Coder 32B InstructTexto32,8 mil M · unos 75 GB FP16 · 544,4 mil ↓Necesidades de GPU
- Gemma 4 31B StyleTuneTexto32,7 mil M · unos 74 GB FP16 · 820 ↓Necesidades de GPU
- Nanbeige4.3-33BTexto33,1 mil M · unos 76 GB FP16 · 22,3 mil ↓Necesidades de GPU
- Laguna XS.2Texto33,4 mil M · unos 75 GB FP16 · 764,4 mil ↓Necesidades de GPU
- Laguna XS 2.1Texto33,4 mil M · unos 75 GB FP16 · 615,8 mil ↓Necesidades de GPU
Qwen3 32B: preguntas frecuentes
¿Cuánta VRAM necesita Qwen3 32B?
Unos 75 GB en FP16, 41 GB en INT8 y 22 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.
¿Cuál es la GPU más barata para ejecutar Qwen3 32B?
1 × RTX PRO 6000 96GB (unos 0,50 US$ por GPU / hora) en RunPod, por unos 0,50 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 13 nov 2026; cambian a menudo.
¿Puedo hacer ajuste fino de Qwen3 32B en una sola GPU?
Sí, con QLoRA: necesita unos 39 GB, que caben en una GPU de 80 GB. LoRA necesita unos 92 GB y un ajuste completo unos 585 GB.
¿Cómo se calculan estas cifras?
Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.
¿Funciona Qwen3 32B en una GPU de consumo como la RTX 4090?
No por sí sola. Incluso en INT4 necesita unos 22 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.
¿Cabe Qwen3 32B en una sola H100 de 80 GB?
Sí, en INT8, INT4 con contexto de 8K.
¿Cuántas GPU necesito para Qwen3 32B?
En FP16 con contexto de 8K: 2 × 80 GB, 2 × 48 GB o 4 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.
¿Cuánta VRAM necesita Qwen3 32B en INT8?
Unos 41 GB: 34 GB para los pesos, 2,1 GB para una caché KV de 8K y 4,7 GB de sobrecarga del motor.
¿Cuánto cuesta tener Qwen3 32B funcionando 24/7 durante un mes?
Unos 365 US$ con la configuración más barata que encontramos (1 × RTX PRO 6000 96GB (unos 0,50 US$ por GPU / hora), 0,50 US$ la hora durante 730 horas). Lo m ás barato en AWS, Google Cloud o Azure ronda los 2455 US$ al mes.
FP16, INT8 o INT4: ¿cuál uso?
FP16 conserva toda la calidad y necesita más memoria (unos 75 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 22 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.
¿Funciona Qwen3 32B en un Mac?
Sí, con memoria suficiente. En INT4 necesita unos 22 GB, así que un Mac con 32 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿vLLM o llama.cpp?
vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.
Precios recogidos el 13 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai son mundiales).
Cómo calculamos
- Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
- Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
- Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
- Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
- GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.