Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Requisitos de GPU de Ternary Bonsai 2 9B: VRAM y GPU más barata

Ternary Bonsai 2 9B tiene 1470,6 M parámetros, publicados en GGUF. Lee imágenes además de texto; cada imagen añade tokens al contexto. Se publica con licencia apache-2.0, que permite el uso comercial.

Parámetros
1470,6 M
Mínimo de memoria (INT4)
unos 2,6 GB
GPU más barata por hora (FP16)
0,16 US$
Tipo
Visión
  • Parámetros 1470,6 M
  • Tipo Visión
  • Tarea image-text-to-text
  • Licencia apache-2.0
  • Descargas 1,7 M
  • Me gusta 192

Cálculo para Ternary Bonsai 2 9B

Precisión
Uso
Más ajustes
Motor de inferencia
Peticiones simultáneas

Ternary Bonsai 2 9B necesita unos 5 GB de memoria de GPU

Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez. Faltaban algunos datos del modelo, así que la caché KV es una estimación.

En qué se va la memoria

  • Pesos 2,9 GB
  • Caché KV 0,67 GB
  • Sobrecarga del motor 1,4 GB
  • Total 5 GB

El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.

GPU que caben, de la más barata a la más caraCada tipo de GPU que seguimos capaz de alojar esta configuración en un nodo, ordenado por coste total por hora
PuestoConfiguraciónPor GPU / hGPU necesariasTotal / hTotal / mes (24/7)Proveedor
11 × RTX 3090 24GBMás barataAmpere · GDDR6X0,16 US$10,16 US$117 US$Lium (se abre en una pestaña nueva)1x RTX 3090 Ti
21 × RTX 4090 24GBAda Lovelace · GDDR6X0,30 US$10,30 US$219 US$Lium (se abre en una pestaña nueva)1x RTX 4090
31 × RTX 5090 32GBBlackwell · GDDR70,40 US$10,40 US$292 US$Lium (se abre en una pestaña nueva)1x RTX 5090
41 × RTX A6000 48GBAmpere · GDDR60,42 US$10,42 US$307 US$Lium (se abre en una pestaña nueva)1x RTX A6000
51 × L4 24GBAda Lovelace · GDDR60,45 US$10,45 US$326 US$Vast.ai (se abre en una pestaña nueva)1x L4 (median of 3 offers)
61 × RTX PRO 6000 96GBBlackwell · GDDR70,50 US$10,50 US$365 US$RunPod (se abre en una pestaña nueva)1x RTX PRO 6000 MaxQ
71 × A40 48GBAmpere · GDDR60,52 US$10,52 US$381 US$Vast.ai (se abre en una pestaña nueva)1x A40 (median of 5 offers)
81 × T4 16GBTuring · GDDR60,53 US$10,53 US$384 US$AWS (se abre en una pestaña nueva)g4dn.xlarge
91 × RTX 6000 Ada 48GBAda Lovelace · GDDR60,75 US$10,75 US$548 US$Lium (se abre en una pestaña nueva)1x RTX 6000 Ada Generation
101 × L40S 48GBAda Lovelace · GDDR60,80 US$10,80 US$585 US$Vast.ai (se abre en una pestaña nueva)1x L40S (median of 7 offers)
111 × A100 40GBAmpere · HBM20,80 US$10,80 US$586 US$Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 15 offers)
121 × A10 24GBAmpere · GDDR61,01 US$11,01 US$734 US$AWS (se abre en una pestaña nueva)g5.xlarge
131 × A100 80GBAmpere · HBM2e1,12 US$11,12 US$820 US$Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 16 offers)
141 × H100 80GBHopper · HBM31,39 US$11,39 US$1015 US$Lium (se abre en una pestaña nueva)1x H100 80GB HBM3
151 × GH200 96GBHopper · HBM31,99 US$11,99 US$1453 US$Vultr (se abre en una pestaña nueva)vbm-72c-480gb-gh200-gpu (bare metal)
161 × MI300X 192GBCDNA 3 · HBM32,39 US$12,39 US$1745 US$RunPod (se abre en una pestaña nueva)1x MI300X
171 × H200 141GBHopper · HBM3e2,90 US$12,90 US$2117 US$Lium (se abre en una pestaña nueva)1x H200 NVL
181 × V100 16GBVolta · HBM23,06 US$13,06 US$2234 US$AWS (se abre en una pestaña nueva)p3.2xlarge
191 × H100 NVL 94GBHopper · HBM33,19 US$13,19 US$2329 US$RunPod (se abre en una pestaña nueva)1x H100 NVL
201 × B200 180GBBlackwell · HBM3e5,60 US$15,60 US$4088 US$Lium (se abre en una pestaña nueva)1x B200
211 × B300 288GBBlackwell Ultra · HBM3e8,00 US$18,00 US$5840 US$Lium (se abre en una pestaña nueva)1x B300 SXM6
221 × GB200 186GBBlackwell · HBM3e10,50 US$1se vende con 4 GPU; necesitas 142,00 US$30.660 US$CoreWeave (se abre en una pestaña nueva)GB200 NVL72
Coste por nubeOferta más barata que cabe, por proveedor. Aproximado, precios recogidos el 16 nov 2026.
ProveedorInstanciaPor GPU / hGPU necesariasTotal / hTotal / mes (24/7)
Lium (se abre en una pestaña nueva)Más barata1x RTX 3090 Timercado mundial0,16 US$1 × RTX 3090 24GB unos 0,16 US$unos 117 US$
Vast.ai (se abre en una pestaña nueva)1x RTX 3090 (median of 32 offers)mercado mundial0,26 US$1 × RTX 3090 24GB unos 0,26 US$unos 186 US$
RunPod (se abre en una pestaña nueva)1x RTX 3090 Tius0,46 US$1 × RTX 3090 24GB unos 0,46 US$unos 336 US$
AWS (se abre en una pestaña nueva)g4dn.xlargeus-east-10,53 US$1 × T4 16GB unos 0,53 US$unos 384 US$
Azure (se abre en una pestaña nueva)NC4as_T4_v3eastus0,53 US$1 × T4 16GB unos 0,53 US$unos 384 US$
Google Cloud (se abre en una pestaña nueva)g2-standard-4us-central10,71 US$1 × L4 24GB unos 0,71 US$unos 516 US$
Lambda (se abre en una pestaña nueva)1x A6000us1,09 US$1 × RTX A6000 48GB unos 1,09 US$unos 796 US$
Nebius (se abre en una pestaña nueva)1x L40S 48GBeu/us1,55 US$1 × L40S 48GB unos 1,55 US$unos 1132 US$
Vultr (se abre en una pestaña nueva)vcg-l40s-16c-180g-48vramus1,67 US$1 × L40S 48GB unos 1,67 US$unos 1220 US$
CoreWeave (se abre en una pestaña nueva)GH200us6,50 US$1 × GH200 96GB unos 6,50 US$unos 4745 US$

Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).

Memoria por precisión y uso

Con un contexto de 8K tokens y una petición a la vez. LoRA y el ajuste completo parten de pesos de 16 bits y QLoRA de 4 bits, así que las demás celdas quedan vacías.
PrecisiónInferenciaAjuste LoRAAjuste QLoRAAjuste completo
FP16 / BF165 GB6,4 GB–29 GB
INT83,4 GB–––
INT42,6 GB–4 GB–

La GPU más barata por precisión

Inferencia con contexto de 8K y una petición a la vez.

FP16 / BF16

unos 5 GB · 8K tokens

Los pesos tal como se publican. Sin pérdidas, pero ocupa más.

1 × RTX 3090 24GB

Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti

Por GPU / h
0,16 US$
GPU necesarias
1
Total / h
unos 0,16 US$
al mes, 24/7, aprox.
117 US$

INT8

unos 3,4 GB · 8K tokens

Pesos a la mitad de tamaño. En chat y RAG apenas se nota.

1 × RTX 3090 24GB

Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti

Por GPU / h
0,16 US$
GPU necesarias
1
Total / h
unos 0,16 US$
al mes, 24/7, aprox.
117 US$

INT4

unos 2,6 GB · 8K tokens

Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.

1 × RTX 3090 24GB

Lium (se abre en una pestaña nueva) · 1x RTX 3090 Ti

Por GPU / h
0,16 US$
GPU necesarias
1
Total / h
unos 0,16 US$
al mes, 24/7, aprox.
117 US$

Inferencia frente a ajuste fino

  • Inferencia (FP16)

    1×

    de la memoria que pide la inferencia

    5 GB

    1 × RTX 3090 24GB · unos 0,16 US$

  • Ajuste LoRA

    1,3×

    de la memoria que pide la inferencia

    6,4 GB

    1 × RTX 3090 24GB · unos 0,16 US$

  • Ajuste QLoRA

    0,8×

    de la memoria que pide la inferencia

    4 GB

    1 × RTX 3090 24GB · unos 0,16 US$

  • Ajuste completo

    5,7×

    de la memoria que pide la inferencia

    29 GB

    1 × RTX 5090 32GB · unos 0,40 US$

Para servirlo en FP16 basta con 1 × RTX 3090 24GB (Lium). LoRA necesita 1 × RTX 3090 24GB (Lium), QLoRA 1 × RTX 3090 24GB (Lium) y un ajuste completo 1 × RTX 5090 32GB (Lium). Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.

¿Funciona en un Mac o en una sola RTX 4090?

RTX 4090 (24 GB)

Sí, en FP16 / BF16 con contexto de 8K: unos 5 GB caben en los 24 GB de la tarjeta.

Mac con Apple silicon

Sí, con memoria suficiente. En INT4 necesita unos 2,6 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.

¿Ejecutarlo tú o pagar por token?

Ejecutarlo tú

La configuración más barata que encontramos en FP16 es 1 × RTX 3090 24GB en Lium, unos 117 US$ al mes si funciona sin parar. Compensa con tráfico constante o si los datos deben quedarse en tus máquinas.

Usar una API alojada

Nuestra reseña de Ternary Bonsai 2 9B explica dónde usarlo mediante una API y cuánto cuesta. Pagar por token suele salir más barato con tráfico ligero o irregular.

Lee nuestra reseña

Modelos parecidos

Modelos abiertos de tamaño parecido.

Calcular otro modelo

Ternary Bonsai 2 9B: preguntas frecuentes

¿Cuánta VRAM necesita Ternary Bonsai 2 9B?

Unos 5 GB en FP16, 3,4 GB en INT8 y 2,6 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.

¿Cuál es la GPU más barata para ejecutar Ternary Bonsai 2 9B?

1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora) en Lium, por unos 0,16 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 16 nov 2026; cambian a menudo.

¿Puedo hacer ajuste fino de Ternary Bonsai 2 9B en una sola GPU?

Sí, con QLoRA: necesita unos 4 GB, que caben en una GPU de 80 GB. LoRA necesita unos 6,4 GB y un ajuste completo unos 29 GB.

¿Cómo se calculan estas cifras?

Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.

¿Funciona Ternary Bonsai 2 9B en una GPU de consumo como la RTX 4090?

Sí, en FP16 / BF16 con contexto de 8K: unos 5 GB caben en los 24 GB de la tarjeta.

¿Cabe Ternary Bonsai 2 9B en una sola H100 de 80 GB?

Sí, en FP16 / BF16, INT8, INT4 con contexto de 8K.

¿Cuántas GPU necesito para Ternary Bonsai 2 9B?

En FP16 con contexto de 8K: 1 × 80 GB, 1 × 48 GB o 1 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.

¿Cuánta VRAM necesita Ternary Bonsai 2 9B en INT8?

Unos 3,4 GB: 1,5 GB para los pesos, 0,67 GB para una caché KV de 8K y 1,2 GB de sobrecarga del motor.

¿Cuánto cuesta tener Ternary Bonsai 2 9B funcionando 24/7 durante un mes?

Unos 117 US$ con la configuración más barata que encontramos (1 × RTX 3090 24GB (unos 0,16 US$ por GPU / hora), 0,16 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 384 US$ al mes.

FP16, INT8 o INT4: ¿cuál uso?

FP16 conserva toda la calidad y necesita más memoria (unos 5 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 2,6 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.

¿Funciona Ternary Bonsai 2 9B en un Mac?

Sí, con memoria suficiente. En INT4 necesita unos 2,6 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.

¿vLLM o llama.cpp?

vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.

Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).

Cómo calculamos

  • Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
  • Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
  • Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
  • Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
  • GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.