Was ist Ternary Bonsai 2 9B?
Ternary Bonsai 2 9B ist ein komprimiertes Vision-Language-Modell von PrismML, einem von Caltech-Forschern gegründeten Start-up, angekündigt am 15. Oktober 2026 zusammen mit Geschwistermodellen in 2B und 4B. Es ist von Alibabas Qwen3.5-9B abgeleitet, mit unveränderter Architektur, doch jedes Gewicht des Sprachmodells, einschließlich der Embeddings und des Output-Heads, ist ternär: jeweils -1, 0 oder +1 mal ein gemeinsamer FP16-Skalierungsfaktor. Das Sprachmodell hat etwa 8,95 Milliarden Parameter, dazu kommt ein Vision-Tower mit 460 Millionen Parametern.
Die Standard-GGUF-Datei (PQ2_0) ist 2,42 GB groß, gegenüber etwa 17,9 GB in FP16; eine dichtere Packung kommt auf 2,00 GB, und der optionale Q8_0-Vision-Projektor fügt 0,62 GB hinzu. Das Modell behält den Kontext von 262.144 Tokens, den Thinking-Modus und das Tool Calling des Basismodells und steht unter Apache 2.0. Das GGUF-Repository hat im vergangenen Monat etwa 317.000 Downloads verzeichnet.
Die beiden kleinsten Packungen brauchen PrismMLs Fork von llama.cpp; das unveränderte llama.cpp führt nur die Q2_0-Datei mit 2,56 GB aus. Ein MLX-Build deckt Apple-Geräte ab.
Lohnt sich Ternary Bonsai 2 9B?
Bonsai 2 9B ist ein starkes Argument dafür, was in etwa 2,5 GB passt, sofern deine Aufgaben Programmieren, Mathematik oder das Befolgen von Anweisungen sind. PrismMLs eigener Vergleich mit dem Qwen3.5-9B in voller Präzision zeigt dort nahezu Gleichstand: 89,02 gegenüber 87,80 bei HumanEval+, 90,02 gegenüber 89,65 bei IFEval und 98,60 gegenüber 99,00 bei MATH500. All das ist selbst gemeldet, mit aktivem Thinking.
Die Verluste treten dort auf, wo Kompression üblicherweise zuschlägt. GPQA Diamond fällt von 82,53 auf 69,9, Agentenaufgaben bei Tau2Bench von 85,25 auf 73,02 und der Wert für Dokumentenverarbeitung bei OmniDocBench von 88,73 auf 73,8. Die letzte Zahl zählt, weil ein Vision-Modell auf dem Handy oft Belege und Formulare lesen soll, und hier behält es nur 83 % der Fähigkeit des Basismodells.
Ein unabhängiger Test auf einer Laptop-GPU RTX 3060 mit 6 GB bestätigt den Speicherbedarf: 2.518 MiB Grafikspeicher bei 4K Kontext und dauerhaft 83 Tokens pro Sekunde, wobei bis zu 32K Kontext in 6 GB passen. Derselbe Tester fand die Schwäche, auf die du bei Agenten achten solltest: Bonsai erreichte 79,6 im Irrelevanz-Test von BFCL, den niedrigsten Wert der getesteten Modelle. Es ruft also am ehesten ein Tool auf, wenn es das nicht sollte.
Die Toolchain ist der praktische Preis. Die Dateien mit 2,00 GB und 2,42 GB laden nur in PrismMLs Fork von llama.cpp, der BF16-Vision-Projektor kann llama-server bei gleichzeitigen Bildanfragen zum Absturz bringen, und der Thinking-Modus kann für einen einfachen Prompt 3.000 Tokens verbrauchen. Auf einem Handy mit den von PrismML genannten 34 Tokens pro Sekunde kann eine Reasoning-Antwort daher deutlich länger als eine Minute dauern.
Wo es sich lohnt
Eine iOS-Entwicklerin, die einer Notiz-App einen Offline-Assistenten hinzufügt
Fragen zu Notizen und Fotos ohne Server beantworten
Liefere den 2-Bit-Build für MLX aus; PrismML nennt bis zu 34 Tokens pro Sekunde auf einem iPhone 18 Pro Max. Schalte Thinking für Chat-Antworten ab, denn es kann vor der Antwort 3.000 oder mehr Tokens verbrauchen.
Ein Plattform-Engineer mit einer Flotte von Laptops mit 6-GB-GPUs
Einen lokalen Helfer für Code und Shell betreiben, ohne dass Daten den Rechner verlassen
Stelle die PQ2_0-Datei mit llama-server aus dem PrismML-Fork bereit. Ein unabhängiger Test maß auf einer Laptop-GPU RTX 3060 2.518 MiB Grafikspeicher bei 4K Kontext und 83 Tokens pro Sekunde, wobei Kontexte bis 32K in 6 GB passen.
Eine Produktmanagerin bei einem Außendienstunternehmen
Entscheiden, ob Techniker Gerätetypenschilder und Handbücher auf dem Gerät lesen können
Für Etiketten und kurze Texte machbar, mit --image-min-tokens 1024 für Kleingedrucktes, doch PrismML meldet 73,8 bei OmniDocBench gegenüber 88,73 beim Basismodell. Dichte Handbücher und Formulare schickst du daher besser an ein spezialisiertes OCR-Modell, wenn eine Verbindung besteht.
Bevor du dich festlegst
- Einrichtung
- Lade ein vorkompiliertes Release des Forks PrismML-Eng/llama.cpp herunter und starte dann llama-cli oder llama-server mit der PQ2_0-GGUF und dem Q8_0-mmproj für Bilder; PrismML-Eng/Bonsai-demo enthält die getesteten Setups.
- Integrationen
- llama.cpp (CUDA, Metal, CPU) über PrismMLs Fork, ein OpenAI-kompatibler llama-server, MLX über mlx-vlm 0.7.8 oder neuer, ein optionaler MTP-Draft-Head für Speculative Decoding und ein gehosteter Endpunkt in der Darkbloom-Konsole.
- Daten und Datenschutz
- Apache 2.0, wie beim Basismodell Qwen3.5-9B, ohne Umsatzgrenze oder Nutzungsbeschränkungen über die Lizenz hinaus. Bei lokaler Ausführung bleiben Prompts und Bilder auf dem Gerät.
- Kosten im großen Maßstab
- Kostenlos auf eigener Hardware: Die PTQ1_0-Datei mit 2,00 GB ist die kleinste, die MTP-Datei mit 2,68 GB ergänzt Speculative Decoding. PrismML nennt bis zu 179 Tokens pro Sekunde auf einem M5 Max und bis zu 5-mal den Durchsatz des Modells in voller Präzision auf einer RTX 4090 und einem M5 Pro. Die Preise von Darkbloom sind nicht veröffentlicht.
- Grenzen
- Kontext von 262.144 Tokens, wobei in eine GPU mit 6 GB etwa 32K passen. Plane mit aktivem Thinking mindestens 8.192 Output-Tokens ein, vermeide Greedy Decoding mit Thinking und nutze bei gleichzeitigen Bildanfragen den Q8_0-Vision-Projektor statt BF16.
Was gut ist
- Datei von 2,42 GB für ein Modell der 9B-Klasse mit Bildeingabe
- Zieht bei HumanEval+, IFEval und MATH500 mit Qwen3.5-9B gleich (selbst gemeldet)
- Kontext von 262.144 Tokens und Tool Calling vom Basismodell übernommen
- Apache 2.0
Was nicht
- GPQA Diamond 69,9 gegenüber 82,53 beim Basismodell
- Dokumentenverarbeitung behält nur 83 % von Qwen3.5-9B (selbst gemeldet)
- Die kleinsten Packungen brauchen PrismMLs Fork von llama.cpp
- Ruft in einem unabhängigen Test häufiger ungefragt Tools auf als die Konkurrenz
Am besten für
Entwickler, die einen lokalen Assistenten oder Coding-Helfer auf Handys, Laptops oder GPUs mit 6 GB ausliefern, wo der Speicher mehr zählt als die letzten Punkte beim Reasoning.
Alternativen zu Ternary Bonsai 2 9B
Ternary Bonsai 2 9B: häufige Fragen
- Lohnt sich Ternary Bonsai 2 9B?
- Bonsai 2 9B bringt ein fähiges Vision-Modell mit neun Milliarden Parametern in den Speicher eines Handys und zahlt den Preis dafür größtenteils bei reasoning-lastiger Arbeit. Wir bewerten es mit 4.0 von 5.
- Was kostet Ternary Bonsai 2 9B?
- Kostenlos unter Apache 2.0. Gehostet in der Darkbloom-Konsole; Preise nicht veröffentlicht.
- Welche Nachteile hat Ternary Bonsai 2 9B?
- GPQA Diamond 69,9 gegenüber 82,53 beim Basismodell; Dokumentenverarbeitung behält nur 83 % von Qwen3.5-9B (selbst gemeldet); Die kleinsten Packungen brauchen PrismMLs Fork von llama.cpp; Ruft in einem unabhängigen Test häufiger ungefragt Tools auf als die Konkurrenz.
- Für wen eignet sich Ternary Bonsai 2 9B?
- Entwickler, die einen lokalen Assistenten oder Coding-Helfer auf Handys, Laptops oder GPUs mit 6 GB ausliefern, wo der Speicher mehr zählt als die letzten Punkte beim Reasoning.
- Was kostet Ternary Bonsai 2 9B für ein Team oder im Produktivbetrieb?
- Kostenlos auf eigener Hardware: Die PTQ1_0-Datei mit 2,00 GB ist die kleinste, die MTP-Datei mit 2,68 GB ergänzt Speculative Decoding. PrismML nennt bis zu 179 Tokens pro Sekunde auf einem M5 Max und bis zu 5-mal den Durchsatz des Modells in voller Präzision auf einer RTX 4090 und einem M5 Pro. Die Preise von Darkbloom sind nicht veröffentlicht.
- Ist Ternary Bonsai 2 9B sicher für Firmendaten?
- Apache 2.0, wie beim Basismodell Qwen3.5-9B, ohne Umsatzgrenze oder Nutzungsbeschränkungen über die Lizenz hinaus. Bei lokaler Ausführung bleiben Prompts und Bilder auf dem Gerät.
- Was sind die besten Alternativen zu Ternary Bonsai 2 9B?
- Die nächsten Alternativen, die wir getestet haben, sind Gemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B und gpt-oss-20b.
Antworten geprüft am 28. Okt. 2026.