本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

AIニュースと研究

ニュース ·

TetherのBotPsy-0.8B、ツールを使う小型のオンデバイスアシスタント

Tether AI ResearchのQVACチームは、Qwen3.5-0.8BをベースにしたBotPsy-0.8Bを公開しました。検索、旅行、カレンダー、メールなどのタスクで、ツールを端末上で使えるよう追加学習しています。6つのツール利用ベンチマークの平均は45.0で、ベースモデルの24.7を上回りますが、知識テストではQwen3.5-2Bに及びません。重みはbf16、Q8、Q4で、llama.cpp向けのGGUFもあります。

予約、検索、メッセージ送信など、利用者に代わって行動できるAIアシスタントの多くは、他社のサーバーで動いています。ステーブルコインTetherで知られる企業の一部門Tether AI Researchは、利用者自身のスマートフォンやノートパソコンでツールを呼び出すために作られた8億パラメータのモデルBotPsyを公開しました。ほぼどこでも動くほど小さく、注目すべきは、訓練対象のエージェント作業では2倍以上大きいモデルを上回ると主張している点です。

BotPsyはQwen3.5-0.8Bを土台に、四段階で訓練されています。ツール利用の会話による教師ありファインチューニング、4Bパラメータの専門教師モデル三つからの蒸留、そしてルールで検証した報酬による2回の強化学習です。目指すのは、検索、旅行、買い物、端末の設定、ファイル、カレンダー、メールにわたる簡単な作業をこなす個人アシスタントです。Tetherは、重みをApache 2.0のもとでbf16、Q8、Q4の形式で公開し、safetensorsと、自社のQVAC SDKおよび私たちがレビューしているllama.cpp向けのGGUFファイルとして提供するとしています。

報告された改善はこの大きさとしては大きなものです。標準的なツール呼び出しのベンチマークBFCL v4では、ベースモデルの23.4から44.0に、ACEBenchでは30.1から58.7に、tau-benchでは23.2から51.5に上がりました。2.5倍の大きさのQwen3.5-2B-Thinkにも六つのエージェントベンチマークのうち五つで勝ち、負けたのはClaw-Evalの48.9対46.5だけです。日常の利用で重要な点が二つあります。適切なツールがないときに呼び出しを控えられるかを見るテストでは86.1と、試したモデルの中で最高でした。また推論が効率的になり、IFBenchで同じ推論を繰り返して抜け出せなくなる割合は22.9%から1.4%に下がりました。

プライベートでオフラインのアシスタントに関心がある読者にとって、参考になるデータです。この大きさならllama.cpp、Ollama、LM Studioを通じて普通のハードウェアで動き、ツール呼び出しを端末内で済ませれば、カレンダーやメッセージを端末の外に出す必要はありません。その代わりに知識は限られます。BotPsyは事実を覚えるのではなく調べる設計で、一般知識ではQwen3.5-2B-Thinkがはるかに高いスコアを出しています。

限界はTether自身が説明しています。ベンチマークはすべて同社自身による実行です。複数段階の調べものは苦手で、複雑な情報検索の作業では15にとどまり、ヒンディー語とロシア語では英語よりかなり劣ります。レッドチーミングでは21%の割合で安全でない応答が見つかりました。Tetherは、お金、健康、個人情報に関わる判断には使わないよう求めており、ライセンスの文言も研究と教育目的に限っています。

結論: 10億未満のパラメーターで簡単なツール呼び出しをスマートフォン上でこなせれば、個人データをクラウドに出さずに済み、そこが狙いです。開発元はお金、健康、個人データに関わる用途には向かないとしており、レッドチーミングで21%が安全でない回答だったことがその慎重さを裏づけています。

関連レビュー:llama.cpp

出典: Hugging Face

その他の記事