¿Qué es Ternary Bonsai 2 9B?
Ternary Bonsai 2 9B es un modelo comprimido de visión y lenguaje de PrismML, una start-up fundada por investigadores de Caltech, anunciado el 15 de octubre de 2026 junto a sus hermanos de 2B y 4B. Deriva de Qwen3.5-9B de Alibaba con la arquitectura sin cambios, pero todos los pesos del modelo de lenguaje, incluidos los embeddings y la cabeza de salida, son ternarios: cada uno vale -1, 0 o +1 multiplicado por una escala FP16 compartida. El modelo de lenguaje tiene unos 8.950 millones de parámetros, más una torre de visión de 460 millones.
El archivo GGUF por defecto (PQ2_0) ocupa 2,42 GB, frente a unos 17,9 GB en FP16; un empaquetado más denso ocupa 2,00 GB, y el proyector de visión Q8_0 opcional añade 0,62 GB. Conserva el contexto de 262.144 tokens del modelo base, el modo de razonamiento y las llamadas a herramientas, y se publica bajo Apache 2.0. El repositorio GGUF suma unas 317.000 descargas en el último mes.
Los dos empaquetados más pequeños necesitan el fork de llama.cpp de PrismML; llama.cpp estándar solo ejecuta el archivo Q2_0 de 2,56 GB. Una versión para MLX cubre los dispositivos de Apple.
¿Merece la pena Ternary Bonsai 2 9B?
Bonsai 2 9B defiende bien lo que cabe en unos 2,5 GB, siempre que tus tareas sean programación, matemáticas o seguir instrucciones. La propia comparación de PrismML con Qwen3.5-9B a precisión completa muestra casi paridad en eso: 89,02 frente a 87,80 en HumanEval+, 90,02 frente a 89,65 en IFEval y 98,60 frente a 99,00 en MATH500. Todas son cifras autodeclaradas, con el razonamiento activado.
Las pérdidas caen donde la compresión suele hacer daño. GPQA Diamond baja de 82,53 a 69,9, las tareas de agente de Tau2Bench de 85,25 a 73,02 y la puntuación de análisis de documentos en OmniDocBench de 88,73 a 73,8. Esa última cifra importa porque a un modelo de visión en un móvil a menudo se le pide leer recibos y formularios, y aquí conserva solo el 83% de la capacidad del modelo base.
Una prueba independiente en una GPU de portátil RTX 3060 de 6 GB confirma el tamaño: 2.518 MiB de memoria de vídeo con un contexto de 4K y 83 tokens por segundo sostenidos, con contextos de hasta 32K que caben en 6 GB. El mismo probador encontró el punto débil a vigilar en agentes: Bonsai obtuvo 79,6 en la prueba de irrelevancia de BFCL, el más bajo de los modelos probados, lo que significa que es el más propenso a llamar a una herramienta cuando no debería.
El coste práctico son las herramientas. Los archivos de 2,00 GB y 2,42 GB solo se cargan en el fork de llama.cpp de PrismML, el proyector de visión BF16 puede hacer caer llama-server con peticiones de imagen simultáneas y el modo de razonamiento puede gastar 3.000 tokens en un prompt sencillo, así que en un móvil, a los 34 tokens por segundo que cita PrismML, una respuesta razonada puede tardar bastante más de un minuto.
Dónde se gana su sitio
Un desarrollador de iOS que añade un asistente sin conexión a una aplicación de notas
Responder preguntas sobre notas y fotos sin servidor
Incluye la versión MLX de 2 bits; PrismML cita hasta 34 tokens por segundo en un iPhone 18 Pro Max. Desactiva el razonamiento para las respuestas de chat, porque puede gastar 3.000 tokens o más antes de responder.
Un ingeniero de plataforma con una flota de portátiles con GPU de 6 GB
Ejecutar un ayudante local de programación y de terminal sin que ningún dato salga del equipo
Sirve el archivo PQ2_0 con llama-server del fork de PrismML. Una prueba independiente midió 2.518 MiB de memoria de vídeo con un contexto de 4K y 83 tokens por segundo en una GPU de portátil RTX 3060, con contextos de hasta 32K que caben en 6 GB.
Una product manager de una empresa de servicio técnico de campo
Decidir si los técnicos pueden leer etiquetas y manuales de equipos en el propio dispositivo
Es viable para etiquetas y textos cortos, con --image-min-tokens 1024 para la letra pequeña, pero PrismML declara 73,8 en OmniDocBench frente a 88,73 del modelo base, así que los manuales densos y los formularios es mejor enviarlos a un modelo de OCR dedicado cuando haya conexión.
Antes de decidirte
- Puesta en marcha
- Descarga una versión precompilada del fork PrismML-Eng/llama.cpp y ejecuta llama-cli o llama-server con el GGUF PQ2_0 y el mmproj Q8_0 para imágenes; PrismML-Eng/Bonsai-demo recoge las configuraciones probadas.
- Integraciones
- llama.cpp (CUDA, Metal, CPU) a través del fork de PrismML, un llama-server compatible con OpenAI, MLX mediante mlx-vlm 0.7.8 o posterior, una cabeza borrador MTP opcional para decodificación especulativa y un endpoint alojado en la consola de Darkbloom.
- Datos y privacidad
- Apache 2.0, como el modelo base Qwen3.5-9B, sin tope de ingresos ni restricciones de uso más allá de la licencia. Ejecutándolo en local, los prompts y las imágenes se quedan en el dispositivo.
- Coste a escala
- Gratis en hardware propio: el archivo PTQ1_0 de 2,00 GB es el más pequeño y el archivo MTP de 2,68 GB añade decodificación especulativa. PrismML cita hasta 179 tokens por segundo en un M5 Max y hasta 5 veces el rendimiento del modelo a precisión completa en una RTX 4090 y un M5 Pro. Los precios de Darkbloom no se publican.
- Límites
- Contexto de 262.144 tokens, aunque en una GPU de 6 GB caben unos 32K. Deja al menos 8.192 tokens de salida con el razonamiento activado, evita la decodificación voraz con razonamiento y usa el proyector de visión Q8_0 en lugar del BF16 con peticiones de imagen simultáneas.
Lo bueno
- Archivo de 2,42 GB para un modelo de clase 9B con entrada de imágenes
- Iguala a Qwen3.5-9B en HumanEval+, IFEval y MATH500 (autodeclarado)
- Conserva del modelo base el contexto de 262.144 tokens y las llamadas a herramientas
- Apache 2.0
Lo malo
- GPQA Diamond de 69,9 frente a 82,53 del modelo base
- El análisis de documentos conserva solo el 83% de Qwen3.5-9B (autodeclarado)
- Los empaquetados más pequeños necesitan el fork de llama.cpp de PrismML
- En una prueba independiente llama a herramientas sin motivo más a menudo que sus rivales
Ideal para
Desarrolladores que lanzan un asistente local o un ayudante de programación en móviles, portátiles o GPU de 6 GB, donde la memoria importa más que los últimos puntos de razonamiento.
Alternativas a Ternary Bonsai 2 9B
Ternary Bonsai 2 9B: preguntas frecuentes
- ¿Merece la pena Ternary Bonsai 2 9B?
- Bonsai 2 9B mete un modelo de visión capaz de nueve mil millones de parámetros en la memoria de un móvil, y devuelve la mayor parte de lo que cuesta en trabajo con mucho razonamiento. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta Ternary Bonsai 2 9B?
- Gratuito bajo Apache 2.0. Alojado en la consola de Darkbloom; precios no publicados.
- ¿Qué inconvenientes tiene Ternary Bonsai 2 9B?
- GPQA Diamond de 69,9 frente a 82,53 del modelo base; el análisis de documentos conserva solo el 83% de Qwen3.5-9B (autodeclarado); los empaquetados más pequeños necesitan el fork de llama.cpp de PrismML; en una prueba independiente llama a herramientas sin motivo más a menudo que sus rivales.
- ¿Para quién es Ternary Bonsai 2 9B?
- Desarrolladores que lanzan un asistente local o un ayudante de programación en móviles, portátiles o GPU de 6 GB, donde la memoria importa más que los últimos puntos de razonamiento.
- ¿Cuánto cuesta Ternary Bonsai 2 9B para un equipo o en producción?
- Gratis en hardware propio: el archivo PTQ1_0 de 2,00 GB es el más pequeño y el archivo MTP de 2,68 GB añade decodificación especulativa. PrismML cita hasta 179 tokens por segundo en un M5 Max y hasta 5 veces el rendimiento del modelo a precisión completa en una RTX 4090 y un M5 Pro. Los precios de Darkbloom no se publican.
- ¿Es Ternary Bonsai 2 9B seguro para los datos de la empresa?
- Apache 2.0, como el modelo base Qwen3.5-9B, sin tope de ingresos ni restricciones de uso más allá de la licencia. Ejecutándolo en local, los prompts y las imágenes se quedan en el dispositivo.
- ¿Cuáles son las mejores alternativas a Ternary Bonsai 2 9B?
- Las alternativas más cercanas que hemos analizado son Gemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B y gpt-oss-20b.
Respuestas comprobadas el 28 oct 2026.