Ternary Bonsai 2 9B의 개요
Ternary Bonsai 2 9B는 Caltech 연구자들이 세운 스타트업 PrismML의 압축 비전 언어 모델로, 2026년 10월 15일 2B, 4B 모델과 함께 발표되었습니다. Alibaba의 Qwen3.5-9B에서 아키텍처를 바꾸지 않고 파생했지만, 임베딩과 출력 헤드를 포함한 모든 언어 모델 가중치가 3진입니다. 각 가중치는 공유 FP16 스케일에 -1, 0, +1 중 하나를 곱한 값입니다. 언어 모델은 약 89억 5,000만(8.95 billion) 파라미터이고, 4억 6,000만(0.46-billion) 파라미터의 비전 타워가 더해집니다.
기본 GGUF 파일(PQ2_0)은 2.42 GB로, FP16의 약 17.9 GB와 비교됩니다. 더 조밀한 패킹은 2.00 GB이며, 선택 사항인 Q8_0 비전 프로젝터가 0.62 GB를 더합니다. 베이스 모델의 262,144토큰 컨텍스트, 사고 모드, 도구 호출을 유지하며, Apache 2.0으로 공개되었습니다. GGUF 저장소의 최근 한 달 다운로드는 약 317,000회입니다.
가장 작은 두 패킹은 PrismML의 llama.cpp 포크가 필요하며, 기본 llama.cpp는 2.56 GB Q2_0 파일만 돌립니다. Apple 기기용으로는 MLX 빌드가 있습니다.
Ternary Bonsai 2 9B, 쓸 만한 가치가 있습니까?
Bonsai 2 9B는 약 2.5 GB에 들어가는 것으로서 설득력이 강합니다. 단, 작업이 코딩, 수학, 지시 수행일 때입니다. PrismML이 직접 비교한 전체 정밀도 Qwen3.5-9B와는 그 분야에서 거의 대등합니다. HumanEval+ 89.02 대 87.80, IFEval 90.02 대 89.65, MATH500 98.60 대 99.00입니다. 모두 사고 모드를 켠 자체 보고 수치입니다.
손실은 압축이 보통 타격을 주는 곳에서 나옵니다. GPQA Diamond는 82.53에서 69.9로, Tau2Bench 에이전트 작업은 85.25에서 73.02로, OmniDocBench 문서 파싱 점수는 88.73에서 73.8로 떨어집니다. 마지막 수치가 중요합니다. 휴대폰의 비전 모델은 영수증과 양식을 읽는 데 자주 쓰이는데, 여기서는 베이스 모델 능력의 83%만 유지합니다.
6 GB RTX 3060 노트북 GPU에서의 독립 테스트 하나가 메모리 사용량을 뒷받침합니다. 4K 컨텍스트에서 비디오 메모리 2,518 MiB, 지속 속도 초당 83토큰이며, 32K 컨텍스트까지 6 GB에 들어갔습니다. 같은 테스터는 에이전트에서 주의할 약점도 찾았습니다. Bonsai는 BFCL 무관련성 테스트에서 79.6으로 시험한 모델 중 가장 낮았는데, 이는 호출하지 말아야 할 때 도구를 호출할 가능성이 가장 크다는 뜻입니다.
실무적 비용은 도구 체인입니다. 2.00 GB와 2.42 GB 파일은 PrismML의 llama.cpp 포크에서만 로드되고, BF16 비전 프로젝터는 동시 이미지 요청에서 llama-server를 멈추게 할 수 있으며, 사고 모드는 간단한 프롬프트에도 3,000토큰을 쓸 수 있습니다. 그래서 PrismML이 제시한 초당 34토큰의 휴대폰에서는 추론형 답변 하나에 1분이 훌쩍 넘게 걸릴 수 있습니다.
제 역할을 하는 곳
메모 앱에 오프라인 어시스턴트를 넣는 iOS 개발자
서버 없이 메모와 사진에 관한 질문에 답하기
MLX 2비트 빌드를 탑재합니다. PrismML은 iPhone 18 Pro Max에서 최대 초당 34토큰을 제시합니다. 사고 모드는 답하기 전에 3,000토큰 이상을 쓸 수 있으므로, 채팅 응답에서는 꺼 두십시오.
6 GB GPU 노트북을 다수 관리하는 플랫폼 엔지니어
데이터가 기기를 떠나지 않는 로컬 코딩 및 셸 도우미 돌리기
PrismML 포크의 llama-server로 PQ2_0 파일을 서빙합니다. 독립 테스트 하나는 RTX 3060 노트북 GPU에서 4K 컨텍스트에 비디오 메모리 2,518 MiB, 초당 83토큰을 측정했고, 32K까지의 컨텍스트가 6 GB에 들어갔습니다.
현장 서비스 회사의 프로덕트 매니저
기술자가 장비 라벨과 매뉴얼을 기기에서 읽을 수 있는지 판단하기
라벨과 짧은 텍스트는 작은 글씨에 --image-min-tokens 1024를 주면 가능합니다. 다만 PrismML은 OmniDocBench에서 베이스 모델의 88.73에 비해 73.8을 보고하므로, 빽빽한 매뉴얼과 양식은 연결이 있을 때 전용 OCR 모델로 보내는 편이 낫습니다.
도입 전 확인할 점
- 설정
- PrismML-Eng/llama.cpp 포크의 사전 빌드 릴리스를 내려받고, PQ2_0 GGUF와 이미지용 Q8_0 mmproj로 llama-cli나 llama-server를 실행합니다. 테스트된 구성은 PrismML-Eng/Bonsai-demo에 있습니다.
- 연동
- PrismML 포크를 통한 llama.cpp(CUDA, Metal, CPU), OpenAI 호환 llama-server, mlx-vlm 0.7.8 이상을 통한 MLX, 추측 디코딩용 선택 MTP 드래프트 헤드, Darkbloom 콘솔의 호스팅 엔드포인트가 있습니다.
- 데이터와 개인정보
- Qwen3.5-9B 베이스 모델을 따라 Apache 2.0이며, 라이선스 외에 매출 상한이나 사용 제한이 없습니다. 로컬에서 돌리면 프롬프트와 이미지가 기기에 남습니다.
- 대규모 사용 시 비용
- 보유한 하드웨어에서 무료로 돌릴 수 있습니다. 2.00 GB PTQ1_0 파일이 가장 작고, 2.68 GB MTP 파일은 추측 디코딩을 더합니다. PrismML은 M5 Max에서 최대 초당 179토큰, RTX 4090과 M5 Pro에서 전체 정밀도 모델 대비 최대 5배 처리량을 제시합니다. Darkbloom 가격은 공개되지 않았습니다.
- 제한
- 컨텍스트는 262,144토큰이지만 6 GB GPU에는 약 32K가 들어갑니다. 사고 모드를 켜면 출력 토큰을 최소 8,192개 허용하고, 사고 모드에서 탐욕적 디코딩은 피하며, 동시 이미지 요청에서는 BF16이 아니라 Q8_0 비전 프로젝터를 쓰십시오.
좋은 점
- 이미지 입력을 받는 9B급 모델이 2.42 GB 파일
- HumanEval+, IFEval, MATH500에서 Qwen3.5-9B와 대등(자체 보고)
- 베이스 모델의 262,144토큰 컨텍스트와 도구 호출 유지
- Apache 2.0
아쉬운 점
- GPQA Diamond 69.9로 베이스 모델의 82.53보다 낮음
- 문서 파싱은 Qwen3.5-9B의 83%만 유지(자체 보고)
- 가장 작은 패킹에는 PrismML의 llama.cpp 포크가 필요
- 독립 테스트 하나에서 경쟁 모델보다 요청 없이 도구를 더 자주 호출
추천 대상
추론의 마지막 몇 점보다 메모리가 더 중요한 휴대폰, 노트북, 6 GB GPU에 로컬 어시스턴트나 코딩 도우미를 탑재하는 개발자.
Ternary Bonsai 2 9B 대안
Ternary Bonsai 2 9B: 자주 묻는 질문
- Ternary Bonsai 2 9B, 쓸 만한 가치가 있습니까?
- Bonsai 2 9B는 쓸 만한 90억 파라미터 비전 모델을 휴대폰 메모리에 넣었고, 압축으로 잃은 것 대부분을 추론 중심 작업에서 다시 내줍니다. 평점은 5점 만점에 4.0점입니다.
- Ternary Bonsai 2 9B의 가격은 얼마입니까?
- Apache 2.0으로 무료입니다. Darkbloom 콘솔에서 호스팅되며, 가격은 공개되지 않았습니다.
- Ternary Bonsai 2 9B의 단점은 무엇입니까?
- GPQA Diamond 69.9로 베이스 모델의 82.53보다 낮음; 문서 파싱은 Qwen3.5-9B의 83%만 유지(자체 보고); 가장 작은 패킹에는 PrismML의 llama.cpp 포크가 필요; 독립 테스트 하나에서 경쟁 모델보다 요청 없이 도구를 더 자주 호출.
- Ternary Bonsai 2 9B에 적합한 사람은 누구입니까?
- 추론의 마지막 몇 점보다 메모리가 더 중요한 휴대폰, 노트북, 6 GB GPU에 로컬 어시스턴트나 코딩 도우미를 탑재하는 개발자.
- 팀이나 프로덕션 환경에서 Ternary Bonsai 2 9B의 비용은 얼마입니까?
- 보유한 하드웨어에서 무료로 돌릴 수 있습니다. 2.00 GB PTQ1_0 파일이 가장 작고, 2.68 GB MTP 파일은 추측 디코딩을 더합니다. PrismML은 M5 Max에서 최대 초당 179토큰, RTX 4090과 M5 Pro에서 전체 정밀도 모델 대비 최대 5배 처리량을 제시합니다. Darkbloom 가격은 공개되지 않았습니다.
- Ternary Bonsai 2 9B에 회사 데이터를 맡겨도 안전합니까?
- Qwen3.5-9B 베이스 모델을 따라 Apache 2.0이며, 라이선스 외에 매출 상한이나 사용 제한이 없습니다. 로컬에서 돌리면 프롬프트와 이미지가 기기에 남습니다.
- Ternary Bonsai 2 9B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Gemma 4, Ministral 3 (3B, 8B and 14B), MiniCPM5-2B 및 gpt-oss-20b입니다.
답변 확인일: 2026년 10월 28일.
Ternary Bonsai 2 9B 개발사입니까? 이 평점을 사이트에 표시하십시오
