O que é Ternary Bonsai 2 9B?
O Ternary Bonsai 2 9B é um modelo comprimido de visão e linguagem da PrismML, uma startup fundada por pesquisadores do Caltech, anunciado em 15 de outubro de 2026 junto com irmãos de 2B e 4B. Ele deriva do Qwen3.5-9B da Alibaba com a arquitetura inalterada, mas todos os pesos do modelo de linguagem, incluindo os embeddings e a camada de saída, são ternários: cada um é -1, 0 ou +1 vezes uma escala FP16 compartilhada. O modelo de linguagem tem cerca de 8,95 bilhões de parâmetros, mais uma torre de visão de 0,46 bilhão de parâmetros.
O arquivo GGUF padrão (PQ2_0) tem 2,42 GB, contra cerca de 17,9 GB em FP16; um empacotamento mais denso tem 2,00 GB, e o projetor de visão Q8_0 opcional acrescenta 0,62 GB. Ele mantém o contexto de 262.144 tokens do modelo base, o modo de raciocínio e a chamada de ferramentas, e é lançado sob Apache 2.0. O repositório GGUF tem cerca de 317.000 downloads no último mês.
Os dois empacotamentos menores precisam do fork do llama.cpp da PrismML; o llama.cpp padrão roda só o arquivo Q2_0 de 2,56 GB. Um build MLX atende aos dispositivos Apple.
Ternary Bonsai 2 9B vale a pena?
O Bonsai 2 9B defende bem o que cabe em cerca de 2,5 GB, desde que suas tarefas sejam programação, matemática ou seguir instruções. A comparação da própria PrismML com o Qwen3.5-9B em precisão total mostra quase paridade nisso: 89,02 contra 87,80 no HumanEval+, 90,02 contra 89,65 no IFEval e 98,60 contra 99,00 no MATH500. Todos esses números são autodeclarados, com o raciocínio ativado.
As perdas aparecem onde a compressão costuma doer. O GPQA Diamond cai de 82,53 para 69,9, as tarefas de agente do Tau2Bench de 85,25 para 73,02, e a nota de análise de documentos no OmniDocBench de 88,73 para 73,8. Esse último número importa porque um modelo de visão em um celular costuma ser usado para ler recibos e formulários, e aqui ele mantém só 83% da capacidade do modelo base.
Um teste independente em uma GPU de notebook RTX 3060 de 6 GB confirma o consumo: 2.518 MiB de memória de vídeo com contexto de 4K e 83 tokens por segundo sustentados, com contexto de até 32K cabendo em 6 GB. O mesmo testador encontrou o ponto fraco a observar em agentes: o Bonsai marcou 79,6 no teste de irrelevância do BFCL, o mais baixo entre os modelos testados, o que significa que ele é o mais propenso a chamar uma ferramenta quando não deveria.
O conjunto de ferramentas é o custo prático. Os arquivos de 2,00 GB e 2,42 GB só carregam no fork do llama.cpp da PrismML, o projetor de visão BF16 pode derrubar o llama-server com requisições de imagem simultâneas, e o modo de raciocínio pode gastar 3.000 tokens em um prompt simples, então em um celular, aos 34 tokens por segundo citados pela PrismML, uma resposta com raciocínio pode levar bem mais de um minuto.
Onde ele se destaca
Um desenvolvedor iOS adicionando um assistente offline a um app de notas
Responder perguntas sobre notas e fotos sem servidor
Distribua o build MLX de 2 bits; a PrismML cita até 34 tokens por segundo em um iPhone 18 Pro Max. Desative o raciocínio para respostas de chat, já que ele pode usar 3.000 tokens ou mais antes de responder.
Um engenheiro de plataforma com uma frota de notebooks com GPUs de 6 GB
Rodar um ajudante local de programação e shell sem que dados saiam da máquina
Sirva o arquivo PQ2_0 com o llama-server do fork da PrismML. Um teste independente mediu 2.518 MiB de memória de vídeo com contexto de 4K e 83 tokens por segundo em uma GPU de notebook RTX 3060, com contextos de até 32K cabendo em 6 GB.
Um gerente de produto em uma empresa de serviços de campo
Decidir se os técnicos podem ler etiquetas e manuais de equipamentos no próprio aparelho
Viável para etiquetas e textos curtos, com --image-min-tokens 1024 para letras pequenas, mas a PrismML informa 73,8 no OmniDocBench contra 88,73 do modelo base, então manuais densos e formulários são mais bem enviados a um modelo de OCR dedicado quando houver conexão.
Antes de decidir
- Configuração
- Baixe uma release pré-compilada do fork PrismML-Eng/llama.cpp e rode llama-cli ou llama-server com o GGUF PQ2_0 e o mmproj Q8_0 para imagens; o PrismML-Eng/Bonsai-demo reúne as configurações testadas.
- Integrações
- llama.cpp (CUDA, Metal, CPU) pelo fork da PrismML, um llama-server compatível com OpenAI, MLX pelo mlx-vlm 0.7.8 ou mais recente, uma cabeça de rascunho MTP opcional para decodificação especulativa e um endpoint hospedado no console Darkbloom.
- Dados e privacidade
- Apache 2.0, seguindo o modelo base Qwen3.5-9B, sem teto de receita nem restrições de uso além da licença. Rodando localmente, prompts e imagens ficam no dispositivo.
- Custo em escala
- Grátis para rodar em hardware próprio: o arquivo PTQ1_0 de 2,00 GB é o menor e o arquivo MTP de 2,68 GB acrescenta decodificação especulativa. A PrismML cita até 179 tokens por segundo em um M5 Max e até 5 vezes o throughput do modelo em precisão total em uma RTX 4090 e em um M5 Pro. Os preços da Darkbloom não são publicados.
- Limites
- Contexto de 262.144 tokens, embora uma GPU de 6 GB comporte cerca de 32K. Reserve pelo menos 8.192 tokens de saída com o raciocínio ativado, evite decodificação gulosa com raciocínio e use o projetor de visão Q8_0 em vez do BF16 com requisições de imagem simultâneas.
O que é bom
- Arquivo de 2,42 GB para um modelo da classe 9B com entrada de imagem
- Iguala o Qwen3.5-9B no HumanEval+, IFEval e MATH500 (autodeclarado)
- Contexto de 262.144 tokens e chamada de ferramentas mantidos do modelo base
- Apache 2.0
O que não é
- GPQA Diamond de 69,9 contra 82,53 do modelo base
- A análise de documentos mantém só 83% do Qwen3.5-9B (autodeclarado)
- Os empacotamentos menores precisam do fork do llama.cpp da PrismML
- Chama ferramentas sem ser solicitado com mais frequência que os rivais em um teste independente
Ideal para
Desenvolvedores que lançam um assistente local ou ajudante de programação em celulares, notebooks ou GPUs de 6 GB, onde a memória importa mais que os últimos pontos de raciocínio.
Alternativas ao Ternary Bonsai 2 9B
Ternary Bonsai 2 9B: perguntas frequentes
- Ternary Bonsai 2 9B vale a pena?
- O Bonsai 2 9B coloca um modelo de visão capaz de nove bilhões de parâmetros na memória de um celular, e devolve boa parte do que custa em trabalho com muito raciocínio. Damos nota 4.0 de 5.
- Quanto custa Ternary Bonsai 2 9B?
- Grátis sob Apache 2.0. Hospedado no console Darkbloom; preços não publicados.
- Quais são as desvantagens de Ternary Bonsai 2 9B?
- GPQA Diamond de 69,9 contra 82,53 do modelo base; a análise de documentos mantém só 83% do Qwen3.5-9B (autodeclarado); os empacotamentos menores precisam do fork do llama.cpp da PrismML; chama ferramentas sem ser solicitado com mais frequência que os rivais em um teste independente.
- Para quem Ternary Bonsai 2 9B é indicado?
- Desenvolvedores que lançam um assistente local ou ajudante de programação em celulares, notebooks ou GPUs de 6 GB, onde a memória importa mais que os últimos pontos de raciocínio.
- Quanto custa Ternary Bonsai 2 9B para uma equipe ou em produção?
- Grátis para rodar em hardware próprio: o arquivo PTQ1_0 de 2,00 GB é o menor e o arquivo MTP de 2,68 GB acrescenta decodificação especulativa. A PrismML cita até 179 tokens por segundo em um M5 Max e até 5 vezes o throughput do modelo em precisão total em uma RTX 4090 e em um M5 Pro. Os preços da Darkbloom não são publicados.
- Ternary Bonsai 2 9B é seguro para dados da empresa?
- Apache 2.0, seguindo o modelo base Qwen3.5-9B, sem teto de receita nem restrições de uso além da licença. Rodando localmente, prompts e imagens ficam no dispositivo.
- Quais são as melhores alternativas ao Ternary Bonsai 2 9B?
- As alternativas mais próximas que analisamos são Gemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B e gpt-oss-20b.
Respostas verificadas em 28 de out. de 2026.