Requisitos de GPU de Nemotron 3 Ultra: VRAM y GPU más barata
Nemotron 3 Ultra tiene 560,5 mil M parámetros, publicados en BF16. Es un modelo de mezcla de expertos: 22 de sus 512 expertos trabajan en cada token, unos 55 mil M parámetros, así que genera más o menos a la velocidad de un modelo de ese tamaño. Aun así, todos los expertos tienen que estar en la memoria de la GPU, por eso las cifras de memoria de abajo son las del modelo completo. Su licencia (openmdw-1.1) añade condiciones propias; léela antes de usar el modelo con fines comerciales.
- Parámetros
- 560,5 mil M
- Mínimo de memoria (INT4)
- unos 325 GB
- GPU más barata por hora (FP16)
- 2,39 US$
- Tipo
- Texto
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
Ver en Hugging Face (se abre en una pestaña nueva)Lee nuestra reseña
- Parámetros 560,5 mil M
- Activos por token 55 mil M
- Tipo Texto
- Tarea text-generation
- Contexto máximo 256K
- Licencia openmdw-1.1
- Descargas 1 M
- Me gusta 388
Cálculo para Nemotron 3 Ultra
Más ajustes
Nemotron 3 Ultra necesita unos 1235 GB de memoria de GPU
Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez. Faltaban algunos datos del modelo, así que la caché KV es una estimación.
En qué se va la memoria
- Pesos 1121 GB
- Caché KV 0,54 GB
- Sobrecarga del motor 113 GB
- Total 1235 GB
El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.
| Puesto | Configuración | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) | Proveedor |
|---|---|---|---|---|---|---|
| 1 | 8 × MI300X 192GBMás barataCDNA 3 · HBM3 | 2,39 US$ | 8 | 19,12 US$ | 13.958 US$ | RunPod (se abre en una pestaña nueva)8x MI300X |
| 2 | 8 × B200 180GBBlackwell · HBM3e | 7,69 US$ | 8 | 61,52 US$ | 44.910 US$ | Lambda (se abre en una pestaña nueva)8x HGX B200 |
| 3 | 5 × B300 288GBBlackwell Ultra · HBM3e | 8,99 US$ | 5se vende con 8 GPU; necesitas 5 | 71,92 US$ | 52.502 US$ | RunPod (se abre en una pestaña nueva)8x B300 |
| Más de 8: hacen falta varios nodos: H200 141GB, GH200 96GB, H100 NVL 94GB, RTX PRO 6000 96GB, H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| Proveedor | Instancia | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) |
|---|---|---|---|---|---|
| RunPod (se abre en una pestaña nueva)Más barata | 8x MI300Xus | 2,39 US$ | 8 × MI300X 192GB | unos 19,12 US$ | unos 13.958 US$ |
| Vultr (se abre en una pestaña nueva) | vbm-256c-2048gb-8-mi300x-gpu (bare metal)us | 3,99 US$ | 8 × MI300X 192GB | unos 31,92 US$ | unos 23.302 US$ |
| Lambda (se abre en una pestaña nueva) | 8x HGX B200us | 7,69 US$ | 8 × B200 180GB | unos 61,52 US$ | unos 44.910 US$ |
| Nebius (se abre en una pestaña nueva) | 8x B200 180GBeu/us | 8,50 US$ | 8 × B200 180GB | unos 68,00 US$ | unos 49.640 US$ |
| CoreWeave (se abre en una pestaña nueva) | HGX B200us | 8,60 US$ | 8 × B200 180GB | unos 68,80 US$ | unos 50.224 US$ |
| AWS (se abre en una pestaña nueva) | p6-b200.48xlargeus-east-1 | 14,24 US$ | 8 × B200 180GB | unos 113,93 US$ | unos 83.171 US$ |
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Memoria por precisión y uso
| Precisión | Inferencia | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 1235 GB | 1443 GB | – | 9878 GB |
| INT8 | 649 GB | – | – | – |
| INT4 | 325 GB | – | 534 GB | – |
La GPU más barata por precisión
Inferencia con contexto de 8K y una petición a la vez.
FP16 / BF16
unos 1235 GB · 8K tokens
Los pesos tal como se publican. Sin pérdidas, pero ocupa más.
8 × MI300X 192GB
RunPod (se abre en una pestaña nueva) · 8x MI300X
- Por GPU / h
- 2,39 US$
- GPU necesarias
- 8
- Total / h
- unos 19,12 US$
- al mes, 24/7, aprox.
- 13.958 US$
INT8
unos 649 GB · 8K tokens
Pesos a la mitad de tamaño. En chat y RAG apenas se nota.
4 × MI300X 192GB
RunPod (se abre en una pestaña nueva) · 4x MI300X
- Por GPU / h
- 2,39 US$
- GPU necesarias
- 4
- Total / h
- unos 9,56 US$
- al mes, 24/7, aprox.
- 6979 US$
INT4
unos 325 GB · 8K tokens
Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.
8 × A40 48GB
RunPod (se abre en una pestaña nueva) · 8x A40
- Por GPU / h
- 0,59 US$
- GPU necesarias
- 8
- Total / h
- unos 4,72 US$
- al mes, 24/7, aprox.
- 3446 US$
Inferencia frente a ajuste fino
Inferencia (FP16)
1×
de la memoria que pide la inferencia
1235 GB
8 × MI300X 192GB · unos 19,12 US$
Ajuste LoRA
1,2×
de la memoria que pide la inferencia
1443 GB
6 × B300 288GB · unos 71,92 US$
Ajuste QLoRA
0,4×
de la memoria que pide la inferencia
534 GB
4 × MI300X 192GB · unos 9,56 US$
Ajuste completo
8×
de la memoria que pide la inferencia
9878 GB
más de un nodo de 8 GPU
Para servirlo en FP16 basta con 8 × MI300X 192GB (RunPod). LoRA necesita 6 × B300 288GB (RunPod), QLoRA 4 × MI300X 192GB (RunPod) y un ajuste completo más de un nodo de 8 GPU. Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.
¿Funciona en un Mac o en una sola RTX 4090?
RTX 4090 (24 GB)
No por sí sola. Incluso en INT4 necesita unos 325 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.
Mac con Apple silicon
Sí, con memoria suficiente. En INT4 necesita unos 325 GB, así que un Mac con 512 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿Ejecutarlo tú o pagar por token?
Ejecutarlo tú
La configuración más barata que encontramos en FP16 es 8 × MI300X 192GB en RunPod, unos 13.958 US$ al mes si funciona sin parar. Compensa con tráfico constante o si los datos deben quedarse en tus máquinas.
Usar una API alojada
Nuestra reseña de Nemotron 3 Ultra explica dónde usarlo mediante una API y cuánto cuesta. Pagar por token suele salir más barato con tráfico ligero o irregular.
Lee nuestra reseñaModelos parecidos
Modelos abiertos de tamaño parecido.
- Ling-3.1-flashTexto572,1 mil M · unos 1260 GB FP16 · 6,2 mil ↓Necesidades de GPU
- BeamTexto501,3 mil M · unos 1104 GB FP16 · 13,1 mil ↓Necesidades de GPU
- DeepSeek R1Texto684,5 mil M · unos 1508 GB FP16 · 1,6 M ↓Necesidades de GPU
- DeepSeek V3Texto684,5 mil M · unos 1508 GB FP16 · 1,4 M ↓Necesidades de GPU
- DeepSeek V3.2Texto685,4 mil M · unos 1509 GB FP16 · 10,4 M ↓Necesidades de GPU
- K-EXAONE 2.0Texto749,4 mil M · unos 1650 GB FP16 · 14,3 mil ↓Necesidades de GPU
Nemotron 3 Ultra: preguntas frecuentes
¿Cuánta VRAM necesita Nemotron 3 Ultra?
Unos 1235 GB en FP16, 649 GB en INT8 y 325 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.
¿Cuál es la GPU más barata para ejecutar Nemotron 3 Ultra?
8 × MI300X 192GB (unos 2,39 US$ por GPU / hora) en RunPod, por unos 19,12 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 16 nov 2026; cambian a menudo.
¿Puedo hacer ajuste fino de Nemotron 3 Ultra en una sola GPU?
No en una sola GPU. Incluso QLoRA necesita unos 534 GB, más de lo que cabe en una GPU de 80 GB. LoRA necesita unos 1443 GB y un ajuste completo unos 9878 GB.
¿Cómo se calculan estas cifras?
Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.
¿Funciona Nemotron 3 Ultra en una GPU de consumo como la RTX 4090?
No por sí sola. Incluso en INT4 necesita unos 325 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.
¿Cabe Nemotron 3 Ultra en una sola H100 de 80 GB?
No. Incluso en INT4 necesita unos 325 GB, así que hacen falta varias GPU.
¿Cuántas GPU necesito para Nemotron 3 Ultra?
En FP16 con contexto de 8K: 18 × 80 GB, 29 × 48 GB o 58 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.
¿Cuánta VRAM necesita Nemotron 3 Ultra en INT8?
Unos 649 GB: 589 GB para los pesos, 0,54 GB para una caché KV de 8K y 60 GB de sobrecarga del motor.
¿Cuánto cuesta tener Nemotron 3 Ultra funcionando 24/7 durante un mes?
Unos 13.958 US$ con la configuración más barata que encontramos (8 × MI300X 192GB (unos 2,39 US$ por GPU / hora), 19,12 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 83.171 US$ al mes.
FP16, INT8 o INT4: ¿cuál uso?
FP16 conserva toda la calidad y necesita más memoria (unos 1235 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 325 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.
¿Funciona Nemotron 3 Ultra en un Mac?
Sí, con memoria suficiente. En INT4 necesita unos 325 GB, así que un Mac con 512 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿vLLM o llama.cpp?
vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Cómo calculamos
- Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
- Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
- Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
- Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
- GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.