예약, 검색, 메시지 전송처럼 사용자 대신 행동할 수 있는 AI 어시스턴트 대부분은 남의 서버에서 돌아갑니다. 스테이블코인 Tether로 잘 알려진 회사의 연구 부문 Tether AI Research가 자신의 휴대폰이나 노트북에서 도구를 호출하도록 만든 8억 매개변수 모델 BotPsy를 공개했습니다. 거의 어디서나 돌릴 수 있을 만큼 작은데, 흥미로운 주장은 훈련받은 에이전트 작업에서 두 배 넘게 큰 모델을 앞선다는 것입니다.
BotPsy는 Qwen3.5-0.8B를 바탕으로 네 단계에 걸쳐 훈련됩니다. 도구 사용 대화로 하는 지도 미세조정, 4B 매개변수 전문 교사 모델 세 개로부터의 증류, 그리고 규칙으로 검증한 보상을 쓰는 두 차례의 강화 학습입니다. 목표는 검색, 여행, 쇼핑, 기기 설정, 파일, 일정, 이메일 전반의 간단한 작업을 처리하는 개인 비서입니다. Tether는 가중치를 Apache 2.0으로 bf16, Q8, Q4 형식으로 공개하고, safetensors와 자사 QVAC SDK 및 우리가 리뷰하는 llama.cpp용 GGUF 파일로 제공하겠다고 밝혔습니다.
보고된 향상은 크기에 비해 큽니다. 표준 도구 호출 벤치마크인 BFCL v4에서 점수가 기본 모델의 23.4에서 44.0으로, ACEBench에서 30.1에서 58.7로, tau-bench에서 23.2에서 51.5로 올랐습니다. 2.5배 큰 Qwen3.5-2B-Think도 에이전트 벤치마크 여섯 개 중 다섯 개에서 이겼고, Claw-Eval에서만 48.9 대 46.5로 졌습니다. 일상적인 사용에서 중요한 점이 두 가지 있습니다. 알맞은 도구가 없을 때 호출을 삼가는지 보는 시험에서 86.1점으로 시험한 모델 중 최고였습니다. 또 추론이 효율적이어서 IFBench에서 같은 추론을 반복하며 빠져나오지 못하는 비율이 22.9%에서 1.4%로 줄었습니다.
사적이고 오프라인으로 쓰는 어시스턴트에 관심 있는 독자에게 유용한 자료입니다. 이 정도로 작은 모델은 llama.cpp, Ollama, LM Studio로 일반 하드웨어에서 돌릴 수 있고, 도구 호출을 기기 안에서 처리하면 일정과 메시지 가 기기 밖으로 나갈 필요가 없습니다. 대신 지식이 부족합니다. BotPsy는 사실을 아는 것이 아니라 찾아보도록 설계되었고, 일반 지식에서는 Qwen3.5-2B-Think가 여전히 훨씬 높은 점수를 냅니다.
한계는 Tether 스스로 밝힙니다. 모든 벤치마크는 자체 실행 결과입니다. 여러 단계에 걸친 조사에는 약해 복잡한 정보 검색 작업에서 15점에 그치며, 힌디어와 러시아어는 영어보다 훨씬 떨어집니다. 레드팀 시험에서도 21%의 경우 안전하지 않은 응답이 나왔습니다. Tether는 돈, 건강, 개인정보가 걸린 결정에는 쓰지 말라고 하며, 라이선스 문구도 연구와 교육 용도로 한정합니다.