Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

Ternary Bonsai 2 9B

PrismMLによるQwen3.5-9Bの3値化版です。ツール呼び出しに対応したビジョン言語モデルが2.42 GBのファイルに収まり、スマートフォンやノートPCで動きます。

レビュー: Andrew Miller · 更新

Ternary Bonsai 2 9Bを見る オープンソース

当サイトの評価

4.0/5

Bonsai 2 9Bは、90億(nine-billion)パラメータ級の有能なビジョンモデルをスマートフォンのメモリに収めます。その代償の大半は、推論の負荷が高い作業で払うことになります。

Ternary Bonsai 2 9Bとは?

Ternary Bonsai 2 9Bは、Caltechの研究者が創業したスタートアップPrismMLの圧縮版ビジョン言語モデルで、2026年10月15日に2Bと4Bの兄弟モデルとともに発表されました。AlibabaのQwen3.5-9Bをもとにアーキテクチャはそのままですが、埋め込みと出力ヘッドを含む言語モデルの重みはすべて3値です。各重みは-1、0、+1のいずれかに共有のFP16スケールを掛けたものです。言語モデルは約89.5億(8.95 billion)パラメータで、これに4.6億(0.46 billion)パラメータのビジョンタワーが加わります。

標準のGGUFファイル(PQ2_0)は2.42 GBで、FP16では約17.9 GBです。より密なパッキングは2.00 GBで、オプションのQ8_0ビジョンプロジェクターが0.62 GB加わります。ベースモデルの262,144トークンのコンテキスト、思考モード、ツール呼び出しを引き継ぎ、Apache 2.0で公開されています。GGUFリポジトリの過去1か月のダウンロード数は約317,000です。

最も小さい2つのパッキングにはPrismMLのllama.cppフォークが必要です。標準のllama.cppで動くのは2.56 GBのQ2_0ファイルだけです。AppleデバイスにはMLXビルドがあります。

Ternary Bonsai 2 9Bは使う価値があるか?

Bonsai 2 9Bは、作業がコーディング、数学、指示への追従であれば、約2.5 GBに収まるものとして説得力があります。PrismML自身によるフル精度のQwen3.5-9Bとの比較では、これらでほぼ同等です。HumanEval+で89.02対87.80、IFEvalで90.02対89.65、MATH500で98.60対99.00です。いずれも思考モードをオンにした自己申告の数値です。

低下が出るのは、圧縮が通常効いてくる部分です。GPQA Diamondは82.53から69.9に、Tau2Benchのエージェントタスクは85.25から73.02に、OmniDocBenchの文書解析スコアは88.73から73.8に下がります。最後の数値は重要です。スマートフォン上のビジョンモデルはレシートや書類を読むことを求められることが多く、ここではベースモデルの能力の83%しか保てていないからです。

6 GBのRTX 3060ノートPC用GPUでの独立したテストが、このフットプリントを裏付けています。4Kコンテキストでビデオメモリ2,518 MiB、持続して毎秒83トークンで、最大32Kのコンテキストが6 GBに収まりました。同じテスターは、エージェントで注意すべき弱点も見つけています。BonsaiはBFCLの無関係性テストで79.6と、試したモデルの中で最低でした。つまり、呼ぶべきでないときにツールを呼ぶ可能性が最も高いということです。

実用上のコストはツールチェーンです。2.00 GBと2.42 GBのファイルはPrismMLのllama.cppフォークでしか読み込めません。BF16のビジョンプロジェクターは同時の画像リクエストでllama-serverをクラッシュさせることがあります。思考モードは簡単なプロンプトに3,000トークンを費やすことがあるため、PrismMLが示す毎秒34トークンのスマートフォンでは、推論付きの回答に1分を大きく超えることがあります。

真価を発揮する場面

  • メモアプリにオフラインのアシスタントを追加するiOS開発者

    サーバーなしでメモや写真についての質問に答える

    MLXの2-bitビルドを組み込みます。PrismMLはiPhone 18 Pro Maxで最大毎秒34トークンとしています。思考モードは回答前に3,000トークン以上を使うことがあるため、チャットの返信ではオフにします。

  • 6 GBのGPUを搭載したノートPCを多数抱えるプラットフォームエンジニア

    データをマシンの外に出さずに、ローカルのコーディングとシェルの支援を動かす

    PrismMLのフォークのllama-serverでPQ2_0ファイルを提供します。ある独立したテストでは、RTX 3060ノートPC用GPUで4Kコンテキスト時にビデオメモリ2,518 MiB、毎秒83トークンを計測し、最大32Kのコンテキストが6 GBに収まりました。

  • フィールドサービス企業のプロダクトマネージャー

    技術者が機器のラベルやマニュアルを端末上で読めるか判断する

    ラベルや短い文章なら実用的で、小さな文字には--image-min-tokens 1024を使います。ただし、PrismMLの報告ではOmniDocBenchが73.8で、ベースモデルは88.73です。密なマニュアルや書類は、接続がある場合は専用のOCRモデルに送るほうが適しています。

導入前に確認すること

導入
PrismML-Eng/llama.cppフォークのビルド済みリリースをダウンロードし、PQ2_0のGGUFと、画像用にQ8_0のmmprojを指定してllama-cliかllama-serverを実行します。テスト済みの構成はPrismML-Eng/Bonsai-demoにあります。
連携
PrismMLのフォーク経由のllama.cpp(CUDA、Metal、CPU)、OpenAI互換のllama-server、mlx-vlm 0.7.8以降によるMLX、投機的デコード用のオプションのMTPドラフトヘッド、Darkbloomコンソールのホスト型エンドポイントに対応します。
データとプライバシー
ベースモデルのQwen3.5-9Bに従いApache 2.0で、ライセンス以外に売上上限や利用制限はありません。ローカルで動かせば、プロンプトと画像は端末内にとどまります。
大規模利用時のコスト
自分のハードウェアなら無料で動かせます。2.00 GBのPTQ1_0ファイルが最小で、2.68 GBのMTPファイルは投機的デコードを加えます。PrismMLは、M5 Maxで最大毎秒179トークン、RTX 4090とM5 Proではフル精度モデルの最大5倍のスループットとしています。Darkbloomの価格は公開されていません。
制限
コンテキストは262,144トークンですが、6 GBのGPUに収まるのは約32Kです。思考モードでは出力を少なくとも8,192トークン確保し、思考モードでgreedy decodingは避け、同時の画像リクエストではBF16ではなくQ8_0のビジョンプロジェクターを使います。

良い点

  • 画像入力に対応した9B級モデルが2.42 GBのファイルです
  • HumanEval+、IFEval、MATH500でQwen3.5-9Bに並びます(自己申告)
  • ベースモデルの262,144トークンのコンテキストとツール呼び出しを維持しています
  • Apache 2.0です

気になる点

  • GPQA Diamondは69.9で、ベースモデルは82.53です
  • 文書解析はQwen3.5-9Bの83%しか保てません(自己申告)
  • 最も小さいパッキングにはPrismMLのllama.cppフォークが必要です
  • ある独立したテストでは、他のモデルより不要なツール呼び出しが多くなりました

おすすめの人

推論の最後の数ポイントよりメモリが重要な、スマートフォン、ノートPC、6 GBのGPU向けにローカルのアシスタントやコーディング支援を出荷する開発者です。

Ternary Bonsai 2 9Bの代替

Ternary Bonsai 2 9B:よくある質問

Ternary Bonsai 2 9Bは使う価値があるか?
Bonsai 2 9Bは、90億(nine-billion)パラメータ級の有能なビジョンモデルをスマートフォンのメモリに収めます。その代償の大半は、推論の負荷が高い作業で払うことになります。 評価は5点満点中4.0点です。
Ternary Bonsai 2 9Bの料金は?
Apache 2.0で無料です。Darkbloomコンソールでホストされていますが、価格は公開されていません。
Ternary Bonsai 2 9Bの欠点は?
GPQA Diamondは69.9で、ベースモデルは82.53です; 文書解析はQwen3.5-9Bの83%しか保てません(自己申告); 最も小さいパッキングにはPrismMLのllama.cppフォークが必要です; ある独立したテストでは、他のモデルより不要なツール呼び出しが多くなりました.
Ternary Bonsai 2 9Bは誰に向いているか?
推論の最後の数ポイントよりメモリが重要な、スマートフォン、ノートPC、6 GBのGPU向けにローカルのアシスタントやコーディング支援を出荷する開発者です。
チームや本番環境でTernary Bonsai 2 9Bを使うと費用はいくらか?
自分のハードウェアなら無料で動かせます。2.00 GBのPTQ1_0ファイルが最小で、2.68 GBのMTPファイルは投機的デコードを加えます。PrismMLは、M5 Maxで最大毎秒179トークン、RTX 4090とM5 Proではフル精度モデルの最大5倍のスループットとしています。Darkbloomの価格は公開されていません。
Ternary Bonsai 2 9Bは企業データを扱っても安全か?
ベースモデルのQwen3.5-9Bに従いApache 2.0で、ライセンス以外に売上上限や利用制限はありません。ローカルで動かせば、プロンプトと画像は端末内にとどまります。
Ternary Bonsai 2 9Bの代わりになるものは?
当サイトでレビューした中で最も近い代替はGemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B 、 gpt-oss-20bです。

回答確認日:2026年10月28日