Requisitos de GPU de Ternary Bonsai 2 9B: VRAM y GPU más barata
Ternary Bonsai 2 9B tiene 1470,6 M parámetros, publicados en GGUF. Lee imágenes además de texto; cada imagen añade tokens al contexto. Se publica con licencia apache-2.0, que permite el uso comercial.
- Parámetros
- 1470,6 M
- Mínimo de memoria (INT4)
- unos 2,6 GB
- GPU más barata por hora (FP16)
- 0,16 US$
- Tipo
- Visión
prism-ml/Ternary-Bonsai-2-9B-gguf
Ver en Hugging Face (se abre en una pestaña nueva)Lee nuestra reseña
- Parámetros 1470,6 M
- Tipo Visión
- Tarea image-text-to-text
- Licencia apache-2.0
- Descargas 1,7 M
- Me gusta 192
Cálculo para Ternary Bonsai 2 9B
Más ajustes
Ternary Bonsai 2 9B necesita unos 5 GB de memoria de GPU
Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez. Faltaban algunos datos del modelo, así que la caché KV es una estimación.
En qué se va la memoria
- Pesos 2,9 GB
- Caché KV 0,67 GB
- Sobrecarga del motor 1,4 GB
- Total 5 GB
El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.
| Puesto | Configuración | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) | Proveedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMás barataAmpere · GDDR6X | 0,16 US$ | 1 | 0,16 US$ | 117 US$ | Lium (se abre en una pestaña nueva)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,30 US$ | 1 | 0,30 US$ | 219 US$ | Lium (se abre en una pestaña nueva)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,40 US$ | 1 | 0,40 US$ | 292 US$ | Lium (se abre en una pestaña nueva)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,42 US$ | 1 | 0,42 US$ | 307 US$ | Lium (se abre en una pestaña nueva)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,45 US$ | 1 | 0,45 US$ | 326 US$ | Vast.ai (se abre en una pestaña nueva)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 US$ | 1 | 0,50 US$ | 365 US$ | RunPod (se abre en una pestaña nueva)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | 0,52 US$ | 1 | 0,52 US$ | 381 US$ | Vast.ai (se abre en una pestaña nueva)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | 0,53 US$ | 1 | 0,53 US$ | 384 US$ | AWS (se abre en una pestaña nueva)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,75 US$ | 1 | 0,75 US$ | 548 US$ | Lium (se abre en una pestaña nueva)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,80 US$ | 1 | 0,80 US$ | 585 US$ | Vast.ai (se abre en una pestaña nueva)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | 0,80 US$ | 1 | 0,80 US$ | 586 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | 1,01 US$ | 1 | 1,01 US$ | 734 US$ | AWS (se abre en una pestaña nueva)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | 1,12 US$ | 1 | 1,12 US$ | 820 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | 1,39 US$ | 1 | 1,39 US$ | 1015 US$ | Lium (se abre en una pestaña nueva)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | 1,99 US$ | 1 | 1,99 US$ | 1453 US$ | Vultr (se abre en una pestaña nueva)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 US$ | 1 | 2,39 US$ | 1745 US$ | RunPod (se abre en una pestaña nueva)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | 2,90 US$ | 1 | 2,90 US$ | 2117 US$ | Lium (se abre en una pestaña nueva)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | 3,06 US$ | 1 | 3,06 US$ | 2234 US$ | AWS (se abre en una pestaña nueva)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 US$ | 1 | 3,19 US$ | 2329 US$ | RunPod (se abre en una pestaña nueva)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 5,60 US$ | 1 | 5,60 US$ | 4088 US$ | Lium (se abre en una pestaña nueva)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,00 US$ | 1 | 8,00 US$ | 5840 US$ | Lium (se abre en una pestaña nueva)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 US$ | 1se vende con 4 GPU; necesitas 1 | 42,00 US$ | 30.660 US$ | CoreWeave (se abre en una pestaña nueva)GB200 NVL72 |
| Proveedor | Instancia | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) |
|---|---|---|---|---|---|
| Lium (se abre en una pestaña nueva)Más barata | 1x RTX 3090 Timercado mundial | 0,16 US$ | 1 × RTX 3090 24GB | unos 0,16 US$ | unos 117 US$ |
| Vast.ai (se abre en una pestaña nueva) | 1x RTX 3090 (median of 32 offers)mercado mundial | 0,26 US$ | 1 × RTX 3090 24GB | unos 0,26 US$ | unos 186 US$ |
| RunPod (se abre en una pestaña nueva) | 1x RTX 3090 Tius | 0,46 US$ | 1 × RTX 3090 24GB | unos 0,46 US$ | unos 336 US$ |
| AWS (se abre en una pestaña nueva) | g4dn.xlargeus-east-1 | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Azure (se abre en una pestaña nueva) | NC4as_T4_v3eastus | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Google Cloud (se abre en una pestaña nueva) | g2-standard-4us-central1 | 0,71 US$ | 1 × L4 24GB | unos 0,71 US$ | unos 516 US$ |
| Lambda (se abre en una pestaña nueva) | 1x A6000us | 1,09 US$ | 1 × RTX A6000 48GB | unos 1,09 US$ | unos 796 US$ |
| Nebius (se abre en una pestaña nueva) | 1x L40S 48GBeu/us | 1,55 US$ | 1 × L40S 48GB | unos 1,55 US$ | unos 1132 US$ |
| Vultr (se abre en una pestaña nueva) | vcg-l40s-16c-180g-48vramus | 1,67 US$ | 1 × L40S 48GB | unos 1,67 US$ | unos 1220 US$ |
| CoreWeave (se abre en una pestaña nueva) | GH200us | 6,50 US$ | 1 × GH200 96GB | unos 6,50 US$ | unos 4745 US$ |
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Memoria por precisión y uso
| Precisión | Inferencia | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 5 GB | 6,4 GB | – | 29 GB |
| INT8 | 3,4 GB | – | – | – |
| INT4 | 2,6 GB | – | 4 GB | – |
La GPU más barata por precisión
Inferencia con contexto de 8K y una petición a la vez.
FP16 / BF16
unos 5 GB · 8K tokens
Los pesos tal como se publican. Sin pérdidas, pero ocupa más.
1 × RTX 3090 24GB
Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti
- Por GPU / h
- 0,16 US$
- GPU necesarias
- 1
- Total / h
- unos 0,16 US$
- al mes, 24/7, aprox.
- 117 US$
INT8
unos 3,4 GB · 8K tokens
Pesos a la mitad de tamaño. En chat y RAG apenas se nota.
1 × RTX 3090 24GB
Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti
- Por GPU / h
- 0,16 US$
- GPU necesarias
- 1
- Total / h
- unos 0,16 US$
- al mes, 24/7, aprox.
- 117 US$
INT4
unos 2,6 GB · 8K tokens
Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.
1 × RTX 3090 24GB
Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti
- Por GPU / h
- 0,16 US$
- GPU necesarias
- 1
- Total / h
- unos 0,16 US$
- al mes, 24/7, aprox.
- 117 US$
Inferencia frente a ajuste fino
Inferencia (FP16)
1×
de la memoria que pide la inferencia
5 GB
1 × RTX 3090 24GB · unos 0,16 US$
Ajuste LoRA
1,3×
de la memoria que pide la inferencia
6,4 GB
1 × RTX 3090 24GB · unos 0,16 US$
Ajuste QLoRA
0,8×
de la memoria que pide la inferencia
4 GB
1 × RTX 3090 24GB · unos 0,16 US$
Ajuste completo
5,7×
de la memoria que pide la inferencia
29 GB
1 × RTX 5090 32GB · unos 0,40 US$
Para servirlo en FP16 basta con 1 × RTX 3090 24GB (Lium). LoRA necesita 1 × RTX 3090 24GB (Lium), QLoRA 1 × RTX 3090 24GB (Lium) y un ajuste completo 1 × RTX 5090 32GB (Lium). Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.
¿Funciona en un Mac o en una sola RTX 4090?
RTX 4090 (24 GB)
Sí, en FP16 / BF16 con contexto de 8K: unos 5 GB caben en los 24 GB de la tarjeta.
Mac con Apple silicon
Sí, con memoria suficiente. En INT4 necesita unos 2,6 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿Ejecutarlo tú o pagar por token?
Ejecutarlo tú
La configuración más barata que encontramos en FP16 es 1 × RTX 3090 24GB en Lium, unos 117 US$ al mes si funciona sin parar. Compensa con tráfico constante o si los datos deben quedarse en tus máquinas.
Usar una API alojada
Nuestra reseña de Ternary Bonsai 2 9B explica dónde usarlo mediante una API y cuánto cuesta. Pagar por token suele salir más barato con tráfico ligero o irregular.
Lee nuestra reseñaModelos parecidos
Modelos abiertos de tamaño parecido.
- MiniCPM V 4.7 1BVisión1554,5 M · unos 4,5 GB FP16 · 468,2 mil ↓Necesidades de GPU
- GLM-OCRVisión1325,3 M · unos 3,9 GB FP16 · 1,9 M ↓Necesidades de GPU
- MiniCPM-OCR 1.0Visión1300,4 M · unos 4 GB FP16 · 261,9 mil ↓Necesidades de GPU
- moondream2Visión1927,2 M · unos 6 GB FP16 · 2,4 M ↓Necesidades de GPU
- HunyuanOCR 1.5Visión1119,9 M · unos 4,3 GB FP16 · 614,4 mil ↓Necesidades de GPU
- Qwen3 VL 2B InstructVisión2127,5 M · unos 6,7 GB FP16 · 1,2 M ↓Necesidades de GPU
Ternary Bonsai 2 9B: preguntas frecuentes
¿Cuánta VRAM necesita Ternary Bonsai 2 9B?
Unos 5 GB en FP16, 3,4 GB en INT8 y 2,6 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.
¿Cuál es la GPU más barata para ejecutar Ternary Bonsai 2 9B?
1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora) en Lium, por unos 0,16 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 16 nov 2026; cambian a menudo.
¿Puedo hacer ajuste fino de Ternary Bonsai 2 9B en una sola GPU?
Sí, con QLoRA: necesita unos 4 GB, que caben en una GPU de 80 GB. LoRA necesita unos 6,4 GB y un ajuste completo unos 29 GB.
¿Cómo se calculan estas cifras?
Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.
¿Funciona Ternary Bonsai 2 9B en una GPU de consumo como la RTX 4090?
Sí, en FP16 / BF16 con contexto de 8K: unos 5 GB caben en los 24 GB de la tarjeta.
¿Cabe Ternary Bonsai 2 9B en una sola H100 de 80 GB?
Sí, en FP16 / BF16, INT8, INT4 con contexto de 8K.
¿Cuántas GPU necesito para Ternary Bonsai 2 9B?
En FP16 con contexto de 8K: 1 × 80 GB, 1 × 48 GB o 1 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.
¿Cuánta VRAM necesita Ternary Bonsai 2 9B en INT8?
Unos 3,4 GB: 1,5 GB para los pesos, 0,67 GB para una caché KV de 8K y 1,2 GB de sobrecarga del motor.
¿Cuánto cuesta tener Ternary Bonsai 2 9B funcionando 24/7 durante un mes?
Unos 117 US$ con la configuración más barata que encontramos (1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora), 0,16 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 384 US$ al mes.
FP16, INT8 o INT4: ¿cuál uso?
FP16 conserva toda la calidad y necesita más memoria (unos 5 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 2,6 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.
¿Funciona Ternary Bonsai 2 9B en un Mac?
Sí, con memoria suficiente. En INT4 necesita unos 2,6 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿vLLM o llama.cpp?
vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.
Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).
Cómo calculamos
- Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
- Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
- Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
- Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
- GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.