Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Recherche ·

Sage-Taiyi domine un benchmark de co-scientifique IA et améliore des rendements de réactions réelles

Sage-Taiyi, une prépublication, est un agent de recherche qui suit sa propre compréhension des preuves et des questions ouvertes pour décider quoi étudier ensuite. Sur Taiyi-Bench, 265 tâches tirées de 50 articles dans dix disciplines, il obtient 54,0 contre 47,9 pour AI Scientist-v2. En collaboration avec des laboratoires, il a porté le rendement d'une réaction catalysée au cobalt de traces à 84%.

Les assistants de recherche à base d'IA savent produire des idées et oublient volontiers pourquoi les précédentes ont échoué. Sage-Taiyi, décrit dans un nouveau preprint, est conçu pour corriger cela, et sa preuve la plus convaincante n'est pas un score de benchmark mais deux réactions chimiques qui ont bien mieux fonctionné après ses suggestions.

La conception emprunte à la psychologie la métacognition, c'est-à-dire la pensée sur sa propre pensée. Un premier niveau mène la recherche scientifique : il découpe une question en objectifs, génère et affine des idées et stocke les éléments issus d'expériences, d'articles et d'experts humains. Un second niveau tient à jour une image de ce que ces éléments soutiennent, des hypothèses fragiles et des questions encore ouvertes, et s'en sert pour choisir quoi examiner ensuite et avec quelle méthode de raisonnement. Le but est d'éviter qu'un agent coure après le dernier résultat en oubliant un échec survenu trois tours plus tôt.

Sur Taiyi-Bench, que l'équipe a construit à partir de 265 tâches tirées de 50 articles dans dix disciplines, Sage-Taiyi obtient 54,0 au total contre 47,9 pour AI Scientist-v2, le meilleur des systèmes comparés, et arrive premier sur les huit métriques. Il tournait sur GPT-5.6-Sol, et les références comprenaient le même modèle dans Codex et Claude Code ainsi que Claude Opus 5 et d'autres agents de recherche ; le gain est donc attribué à l'architecture plutôt qu'à un modèle plus puissant. Les articles ont été choisis après la date limite d'entraînement du modèle pour limiter la contamination.

Les résultats de laboratoire pèsent davantage. Dans cinq collaborations guidées par des experts en chimie, science des matériaux et ingénierie, les propositions du système ont été réellement testées. L'optimisation des conditions d'une carbonylation catalysée au cobalt a porté son rendement de traces à 84%, et une amination allylique photocatalytique est passée de 13% à 69%. Ce sont des gains qu'un groupe de chimie remarquerait.

La prudence reste de mise. Le benchmark est celui des auteurs, et les idées sont notées par un vérificateur automatique fondé sur la littérature qui, selon l'équipe, concorde bien avec des experts humains ; il s'agit tout de même d'un modèle qui note un modèle. Les cinq collaborations étaient pilotées par des experts, si bien qu'il est difficile de séparer l'apport du système de celui des scientifiques qui le guidaient, et deux beaux résultats de réaction ne disent rien de la fréquence à laquelle ses suggestions échouent. En tant que preprint, rien n'a été relu par des pairs, et les auteurs ne donnent aucun chiffre sur le coût de calcul de chaque exécution.

Notre avis : Les résultats de paillasse comptent davantage que le benchmark, conçu par la même équipe. Cinq collaborations guidées par des experts sont prometteuses, mais montrent aussi que les humains gardent la main.

Source : arXiv (Hugging Face Daily Papers)

Autres articles