Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Actualités ·

BotPsy-0.8B de Tether, un minuscule assistant local qui utilise des outils

L'équipe QVAC de Tether AI Research a publié BotPsy-0.8B, fondé sur Qwen3.5-0.8B et post-entraîné pour appeler des outils en local pour la recherche, les voyages, l'agenda ou les e-mails. Il obtient 45.0 en moyenne sur six benchmarks d'usage d'outils contre 24.7 pour sa base, mais reste derrière Qwen3.5-2B sur les tests de connaissances. Les poids sont proposés en bf16, Q8 et Q4, y compris en GGUF pour llama.cpp.

La plupart des assistants d'IA capables d'agir pour vous, réserver, chercher ou envoyer des messages, tournent sur les serveurs de quelqu'un d'autre. Tether AI Research, branche de l'entreprise surtout connue pour le stablecoin Tether, a publié BotPsy, un modèle de 0.8 milliard de paramètres conçu pour appeler des outils sur votre propre téléphone ou ordinateur. Il est assez petit pour tourner presque partout, et l'argument intéressant est qu'il bat des modèles plus de deux fois plus gros sur les tâches d'agent pour lesquelles il a été entraîné.

BotPsy part de Qwen3.5-0.8B et suit un entraînement en quatre étapes : réglage supervisé sur des conversations d'usage d'outils, distillation à partir de trois modèles enseignants spécialisés de 4B paramètres, et deux cycles d'apprentissage par renforcement avec des récompenses vérifiées par des règles. L'objectif est un assistant personnel pour des tâches simples de recherche, voyage, achats, réglages de l'appareil, fichiers, agenda et e-mail. Tether annonce des poids ouverts sous licence Apache 2.0 en bf16, Q8 et Q4, en safetensors et en fichiers GGUF pour son QVAC SDK et pour llama.cpp, que nous évaluons.

Les gains annoncés sont importants pour sa taille. Sur BFCL v4, un test classique d'appel d'outils, le score passe de 23,4 pour le modèle de base à 44,0 ; sur ACEBench de 30,1 à 58,7 ; et sur tau-bench de 23,2 à 51,5. Il bat aussi Qwen3.5-2B-Think, 2,5 fois plus gros, sur cinq des six bancs d'essai d'agent, et ne perd que sur Claw-Eval, 48,9 contre 46,5. Deux détails comptent au quotidien. Aux tests où il doit s'abstenir faute d'outil adapté, il obtient 86,1, le meilleur score des modèles testés. Et il raisonne plus efficacement : les boucles répétitives sur IFBench passent de 22,9% à 1,4%.

Pour qui s'intéresse aux assistants privés et hors ligne, c'est un repère utile. Un modèle aussi petit peut tourner via llama.cpp, Ollama ou LM Studio sur du matériel ordinaire, et des appels d'outils en local signifient que votre agenda et vos messages n'ont pas à quitter l'appareil. La contrepartie est la connaissance : BotPsy est conçu pour chercher les faits plutôt que les connaître, et Qwen3.5-2B-Think obtient toujours bien plus en culture générale.

Les limites sont exposées par Tether elle-même. Tous les bancs d'essai sont ses propres exécutions. Le modèle est faible en recherche en plusieurs étapes, avec 15 sur les tâches complexes de recherche d'information, et nettement moins bon en hindi et en russe qu'en anglais. Les tests d'attaque ont encore trouvé des réponses dangereuses dans 21% des cas. Tether précise qu'il n'est pas destiné aux décisions touchant à l'argent, à la santé ou aux données personnelles, et la formulation de sa licence le limite à la recherche et à l'enseignement.

Notre avis : Un modèle de moins d'un milliard de paramètres capable d'appels d'outils simples sur un téléphone garde les données personnelles hors du cloud, et c'est tout l'intérêt. Ses auteurs le déconseillent pour l'argent, la santé ou les données personnelles, et un taux de 21% de réponses dangereuses en red teaming justifie cette prudence.

Nos tests :llama.cpp

Source : Hugging Face

Autres articles