Ternary Bonsai 2 9Bとは?
Ternary Bonsai 2 9Bは、Caltechの研究者が創業したスタートアップPrismMLの圧縮版ビジョン言語モデルで、2026年10月15日に2Bと4Bの兄弟モデルとともに発表されました。AlibabaのQwen3.5-9Bをもとにアーキテクチャはそのままですが、埋め込みと出力ヘッドを含む言語モデルの重みはすべて3値です。各重みは-1、0、+1のいずれかに共有のFP16スケールを掛けたものです。言語モデルは約89.5億(8.95 billion)パラメータで、これに4.6億(0.46 billion)パラメータのビジョンタワーが加わります。
標準のGGUFファイル(PQ2_0)は2.42 GBで、FP16では約17.9 GBです。より密なパッキングは2.00 GBで、オプションのQ8_0ビジョンプロジェクターが0.62 GB加わります。ベースモデルの262,144トークンのコンテキスト、思考モード、ツール呼び出しを引き継ぎ、Apache 2.0で公開されています。GGUFリポジトリの過去1か月のダウンロード数は約317,000です。
最も小さい2つのパッキングにはPrismMLのllama.cppフォークが必要です。標準のllama.cppで動くのは2.56 GBのQ2_0ファイルだけです。AppleデバイスにはMLXビルドがあります。
Ternary Bonsai 2 9Bは使う価値があるか?
Bonsai 2 9Bは、作業がコーディング、数学、指示への追従であれば、約2.5 GBに収まるものとして説得力があります。PrismML自身によるフル精度のQwen3.5-9Bとの比較では、これらでほぼ同等です。HumanEval+で89.02対87.80、IFEvalで90.02対89.65、MATH500で98.60対99.00です。いずれも思考モードをオンにした自己申告の数値です。
低下が出るのは、圧縮が通常効いてくる部分です。GPQA Diamondは82.53から69.9に、Tau2Benchのエージェントタスクは85.25から73.02に、OmniDocBenchの文書解析スコアは88.73から73.8に下がります。最後の数値は重要です。スマートフォン上のビジョンモデルはレシートや書類を読むこ とを求められることが多く、ここではベースモデルの能力の83%しか保てていないからです。
6 GBのRTX 3060ノートPC用GPUでの独立したテストが、このフットプリントを裏付けています。4Kコンテキストでビデオメモリ2,518 MiB、持続して毎秒83トークンで、最大32Kのコンテキストが6 GBに収まりました。同じテスターは、エージェントで注意すべき弱点も見つけています。BonsaiはBFCLの無関係性テストで79.6と、試したモデルの中で最低でした。つまり、呼ぶべきでないときにツールを呼ぶ可能性が最も高いということです。
実用上のコストはツールチェーンです。2.00 GBと2.42 GBのファイルはPrismMLのllama.cppフォークでしか読み込めません。BF16のビジョンプロジェクターは同時の画像リクエストでllama-serverをクラッシュさせることがあります。思考モードは簡単なプロンプトに3,000トークンを費やすことがあるため、PrismMLが示す毎秒34トークンのスマートフォンでは、推論付きの回答に1分を大きく超えることがあります。
真価を発揮する場面
メモアプリにオフラインのアシスタントを追加するiOS開発者
サーバーなしでメモや写真についての質問に答える
MLXの2-bitビルドを組み込みます。PrismMLはiPhone 18 Pro Maxで最大毎秒34トークンとしています。思考モードは回答前に3,000トークン以上を使うことがあるため、チャットの返信ではオフにします。
6 GBのGPUを搭載したノートPCを多数抱えるプラットフォームエンジニア
データをマシンの外に出さずに、ローカルのコーディングとシェルの支援を動かす
PrismMLのフォークのllama-serverでPQ2_0ファイルを提供します。ある独立したテストでは、RTX 3060ノートPC用GPUで4Kコンテキスト時にビデオメモリ2,518 MiB、毎秒83トークンを計測し、最大32Kのコンテキストが6 GBに収まりました。
フィールドサービス企業のプロダクトマネージャー
技術者が機器のラベルやマニュアルを端末上で読めるか判断する
ラベルや短い文章なら実用的で、小さな文字には--image-min-tokens 1024を使います。ただし、PrismMLの報告ではOmniDocBenchが73.8で、ベースモデルは88.73です。密なマニュアルや書類は、接続がある場合は専用のOCRモデルに送るほうが適しています。
導入前に確認すること
- 導入
- PrismML-Eng/llama.cppフォークのビルド済みリリースをダウンロードし、PQ2_0のGGUFと、画像用にQ8_0のmmprojを指定してllama-cliかllama-serverを実行します。テスト済みの構成はPrismML-Eng/Bonsai-demoにあります。
- 連携
- PrismMLのフォーク経由のllama.cpp(CUDA、Metal、CPU)、OpenAI互換のllama-server、mlx-vlm 0.7.8以降によるMLX、投機的デコード用のオプションのMTPドラフトヘッド、Darkbloomコンソールのホスト型エンドポイントに対応します。
- データとプライバシー
- ベースモデルのQwen3.5-9Bに従いApache 2.0で、ライセンス以外に売上上限や利用制限はありません。ローカルで動かせば、プロンプトと画像は端末内にとどまります。
- 大規模利用時のコスト
- 自分のハードウェアなら無料で動かせます。2.00 GBのPTQ1_0ファイルが最小で、2.68 GBのMTPファイルは投機的デコードを加えます。PrismMLは、M5 Maxで最大毎秒179トークン、RTX 4090とM5 Proではフル精度モデルの最大5倍のスループットとしています。Darkbloomの価格は公開されていません。
- 制限
- コンテキストは262,144トークンですが、6 GBのGPUに収まるのは約32Kです。思考モードでは出力を少なくとも8,192トークン確保し、思考モードでgreedy decodingは避け、同時の画像リクエストではBF16ではなくQ8_0のビジョンプロジェクターを使います。
良い点
- 画像入力に対応した9B級モデルが2.42 GBのファイルです
- HumanEval+、IFEval、MATH500でQwen3.5-9Bに並びます(自己申告)
- ベースモデルの262,144トークンのコンテキストとツール呼び出しを維持しています
- Apache 2.0です
気になる点
- GPQA Diamondは69.9で、ベースモデルは82.53です
- 文書解析はQwen3.5-9Bの83%しか保てません(自己申告)
- 最も小さいパッキングにはPrismMLのllama.cppフォークが必要です
- ある独立したテストでは、他のモデルより不要なツール呼び出しが多くなりました
おすすめの人
推論の最後の数ポイントよりメモリが重要な、スマートフォン、ノートPC、6 GBのGPU向けにローカルのアシスタントやコーディング支援を出荷する開発者です。
Ternary Bonsai 2 9Bの代替
Ternary Bonsai 2 9B:よくある質問
- Ternary Bonsai 2 9Bは使う価値があるか?
- Bonsai 2 9Bは、90億(nine-billion)パラメータ級の有能なビジョンモデルをスマートフォンのメモリに収めます。その代償の大半は、推論の負荷が高い作業で払うことになります。 評価は5点満点中4.0点です。
- Ternary Bonsai 2 9Bの料金は?
- Apache 2.0で無料です。Darkbloomコンソールでホストされていますが、価格は公開されていません。
- Ternary Bonsai 2 9Bの欠点は?
- GPQA Diamondは69.9で、ベースモデルは82.53です; 文書解 析はQwen3.5-9Bの83%しか保てません(自己申告); 最も小さいパッキングにはPrismMLのllama.cppフォークが必要です; ある独立したテストでは、他のモデルより不要なツール呼び出しが多くなりました.
- Ternary Bonsai 2 9Bは誰に向いているか?
- 推論の最後の数ポイントよりメモリが重要な、スマートフォン、ノートPC、6 GBのGPU向けにローカルのアシスタントやコーディング支援を出荷する開発者です。
- チームや本番環境でTernary Bonsai 2 9Bを使うと費用はいくらか?
- 自分のハードウェアなら無料で動かせます。2.00 GBのPTQ1_0ファイルが最小で、2.68 GBのMTPファイルは投機的デコードを加えます。PrismMLは、M5 Maxで最大毎秒179トークン、RTX 4090とM5 Proではフル精度モデルの最大5倍のスループットとしています。Darkbloomの価格は公開されていません。
- Ternary Bonsai 2 9Bは企業データを扱っても安全か?
- ベースモデルのQwen3.5-9Bに従いApache 2.0で、ライセンス以外に売上上限や利用制限はありません。ローカルで動かせば、プロンプトと画像は端末内にとどまります。
- Ternary Bonsai 2 9Bの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はGemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B 、 gpt-oss-20bです。
回答確認日:2026年10月28日
