Qu’est-ce que Ternary Bonsai 2 9B ?
Ternary Bonsai 2 9B est un modèle vision-langage compressé de PrismML, une startup fondée par des chercheurs de Caltech, annoncée le 15 octobre 2026 aux côtés de frères 2B et 4B. Il est dérivé du Qwen3.5-9B d'Alibaba, l'architecture inchangée, mais chaque poids du modèle de langage, y compris les embeddings et la tête de sortie, est ternaire : chacun est -1, 0 ou +1 fois une échelle FP16 partagée. Le modèle de langage fait environ 8,95 milliards de paramètres, plus une tour de vision de 0,46 milliard de paramètres.
Le fichier GGUF par défaut (PQ2_0) fait 2,42 GB, contre environ 17,9 GB en FP16 ; un empaquetage plus dense fait 2,00 GB, et le projecteur de vision Q8_0 optionnel ajoute 0,62 GB. Il garde le contexte de 262 144 tokens, le mode thinking et l'appel d'outils du modèle de base, et est publié sous Apache 2.0. Le dépôt GGUF a environ 317 000 téléchargements le mois dernier.
Les deux plus petits empaquetages ont besoin du fork llama.cpp de PrismML ; un llama.cpp standard ne fait tourner que le fichier Q2_0 de 2,56 GB. Une version MLX couvre les appareils Apple.
Ternary Bonsai 2 9B vaut-il le coup ?
Bonsai 2 9B fait un argument fort pour ce qui tient dans environ 2,5 GB, à condition que vos tâches soient le code, les maths ou le suivi d'instructions. La propre comparaison de PrismML avec le Qwen3.5-9B en pleine précision montre une quasi-parité là : 89,02 contre 87,80 sur HumanEval+, 90,02 contre 89,65 sur IFEval et 98,60 contre 99,00 sur MATH500. Tout cela est autodéclaré, avec le thinking activé.
Les pertes tombent là où la compression mord d'habitude. GPQA Diamond baisse de 82,53 à 69,9, les tâches d'agent Tau2Bench de 85,25 à 73,02, et le score d'analyse de documents sur OmniDocBench de 88,73 à 73,8. Ce dernier chiffre compte parce qu'on demande souvent à un modèle de vision sur téléphone de lire des reçus et des formulaires, et ici il ne garde que 83 % de la capacité du modèle de base.
Un test indépendant sur un GPU de portable RTX 3060 de 6 GB confirme l'empreinte : 2 518 Mio de mémoire vidéo à un contexte de 4K et 83 tokens par seconde en continu, avec jusqu'à un contexte de 32K tenant dans 6 GB. Le même testeur a trouvé la faiblesse à surveiller dans les agents : Bonsai a obtenu 79,6 sur le test d'irrelevance de BFCL, le plus bas des modèles essayés, ce qui signifie qu'il est le plus susceptible d'appeler un outil quand il ne devrait pas.
La chaîne d'outils est le coût pratique. Les fichiers de 2,00 GB et 2,42 GB ne se chargent que dans le fork llama.cpp de PrismML, le projecteur de vision BF16 peut faire planter llama-server sous des requêtes d'image simultanées, et le mode thinking peut dépenser 3 000 tokens sur un prompt simple, si bien que sur un téléphone aux 34 tokens par seconde annoncés par PrismML une réponse de raisonnement peut prendre bien plus d'une minute.
Là où il fait la différence
Un développeur iOS qui ajoute un assistant hors ligne à une appli de prise de notes
Répondre à des questions sur les notes et les photos sans serveur
Livrer la version MLX 2 bits ; PrismML annonce jusqu'à 34 tokens par seconde sur un iPhone 18 Pro Max. Désactivez le thinking pour les réponses de chat, puisque le thinking peut utiliser 3 000 tokens ou plus avant de répondre.
Un ingénieur plateforme avec une flotte de portables qui ont des GPU de 6 GB
Faire tourner un assistant de code et de shell local sans qu'aucune donnée ne quitte la machine
Servir le fichier PQ2_0 avec llama-server du fork PrismML. Un test indépendant a mesuré 2 518 Mio de mémoire vidéo à un contexte de 4K et 83 tokens par seconde sur un GPU de portable RTX 3060, avec des contextes jusqu'à 32K tenant dans 6 GB.
Un chef de produit dans une entreprise de services sur site
Décider si les techniciens peuvent lire les étiquettes d'équipement et les manuels sur l'appareil
Faisable pour les étiquettes et les textes courts, avec --image-min-tokens 1024 pour les petits caractères, mais PrismML rapporte 73,8 sur OmniDocBench contre 88,73 pour le modèle de base, si bien que les manuels et formulaires denses sont mieux envoyés à un modèle OCR dédié quand une connexion existe.
Avant de vous engager
- Mise en route
- Téléchargez une version préconstruite du fork PrismML-Eng/llama.cpp, puis lancez llama-cli ou llama-server avec le GGUF PQ2_0 et le mmproj Q8_0 pour les images ; PrismML-Eng/Bonsai-demo contient les configurations testées.
- Intégrations
- llama.cpp (CUDA, Metal, CPU) via le fork de PrismML, un llama-server compatible OpenAI, MLX via mlx-vlm 0.7.8 ou plus récent, une tête draft MTP optionnelle pour le décodage spéculatif, et un endpoint hébergé sur la console Darkbloom.
- Données et confidentialité
- Apache 2.0, suivant le modèle de base Qwen3.5-9B, sans plafond de revenus ni restrictions d'usage au-delà de la licence. En tournant en local, les prompts et images restent sur l'appareil.
- Coût à grande échelle
- Gratuit à faire tourner sur du matériel que vous possédez : le fichier PTQ1_0 de 2,00 GB est le plus petit et le fichier MTP de 2,68 GB ajoute le décodage spéculatif. PrismML annonce jusqu'à 179 tokens par seconde sur un M5 Max et jusqu'à 5 fois le débit du modèle en pleine précision sur une RTX 4090 et un M5 Pro. Les prix de Darkbloom ne sont pas publiés.
- Limites
- Contexte de 262 144 tokens, même si un GPU de 6 GB tient environ 32K. Prévoyez au moins 8 192 tokens de sortie avec le thinking activé, évitez le décodage greedy avec le thinking, et utilisez le projecteur de vision Q8_0 plutôt que BF16 sous des requêtes d'image simultanées.
Les points forts
- Fichier de 2,42 GB pour un modèle de classe 9B avec entrée d'image
- Égale Qwen3.5-9B sur HumanEval+, IFEval et MATH500 (autodéclaré)
- Contexte de 262 144 tokens et appel d'outils gardés du modèle de base
- Apache 2.0
Les points faibles
- GPQA Diamond 69,9 contre 82,53 pour le modèle de base
- L'analyse de documents ne garde que 83 % de Qwen3.5-9B (autodéclaré)
- Les plus petits empaquetages ont besoin du fork llama.cpp de PrismML
- Appelle des outils sans y être invité plus souvent que les rivaux dans un test indépendant
Idéal pour
Les développeurs qui livrent un assistant local ou un assistant de code sur téléphones, portables ou GPU de 6 GB où la mémoire compte plus que les derniers points de raisonnement.
Alternatives à Ternary Bonsai 2 9B
Ternary Bonsai 2 9B : questions fréquentes
- Ternary Bonsai 2 9B vaut-il le coup ?
- Bonsai 2 9B met un modèle de vision capable de neuf milliards de paramètres dans la mémoire d'un téléphone, et redonne l'essentiel de ce qu'il coûte sur le travail à forte intensité de raisonnement. Nous lui donnons 4.0 sur 5.
- Combien coûte Ternary Bonsai 2 9B ?
- Gratuit sous Apache 2.0. Hébergé sur la console Darkbloom ; prix non publiés.
- Quels sont les inconvénients de Ternary Bonsai 2 9B ?
- GPQA Diamond 69,9 contre 82,53 pour le modèle de base; l'analyse de documents ne garde que 83 % de Qwen3.5-9B (autodéclaré); les plus petits empaquetages ont besoin du fork llama.cpp de PrismML; appelle des outils sans y être invité plus souvent que les rivaux dans un test indépendant.
- À qui s’adresse Ternary Bonsai 2 9B ?
- Les développeurs qui livrent un assistant local ou un assistant de code sur téléphones, portables ou GPU de 6 GB où la mémoire compte plus que les derniers points de raisonnement.
- Combien coûte Ternary Bonsai 2 9B pour une équipe ou en production ?
- Gratuit à faire tourner sur du matériel que vous possédez : le fichier PTQ1_0 de 2,00 GB est le plus petit et le fichier MTP de 2,68 GB ajoute le décodage spéculatif. PrismML annonce jusqu'à 179 tokens par seconde sur un M5 Max et jusqu'à 5 fois le débit du modèle en pleine précision sur une RTX 4090 et un M5 Pro. Les prix de Darkbloom ne sont pas publiés.
- Ternary Bonsai 2 9B est-il sûr pour les données de l’entreprise ?
- Apache 2.0, suivant le modèle de base Qwen3.5-9B, sans plafond de revenus ni restrictions d'usage au-delà de la licence. En tournant en local, les prompts et images restent sur l'appareil.
- Quelles sont les meilleures alternatives à Ternary Bonsai 2 9B ?
- Les alternatives les plus proches que nous avons testées sont Gemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B et gpt-oss-20b.
Réponses vérifiées le 28 oct. 2026.