Quelques semaines après que des chercheurs du MIT ont montré GPT-6 Astra en train de réparer un petit modèle en réécrivant ses poids, un nouveau preprint sur arXiv soutient que la même réparation peut se faire sans aucun modèle de langage. Tree-Ising pose la correction comme un problème mathématique sur les bits stockés des poids et la confie à un solveur. Si le résultat tient, l'édition des poids relèverait moins de la perspicacité d'un agent que de la bonne formulation d'un problème d'optimisation.
La cible est un défaut connu de Qwen3.5-0.8B. En mode réflexion, il tombe dans de courts cycles répétitifs sur 93% des problèmes de MATH-500 avec une limite de 32 768 tokens, ce qui le cantonne à 7,9 % de précision. L'agent Astra a corrigé cela en remontant les boucles jusqu'aux couches MLP 15 et 19 et en réécrivant 64 colonnes dans chacune. D'après les journaux publics de l'agent, il a fallu 158 tours, 89,7 millions de tokens, 50 requêtes de passe avant et 15,6 heures, un coût que les auteurs estiment à 312 $.
Tree-Ising n'autorise que deux types de modification par poids : une inversion de signe ou un décalage d'une puissance de deux, si bien que les exposants partagés du stockage BF16 restent intacts. Chaque modification candidate devient ainsi un choix oui ou non, et l'objectif se décompose exactement en un problème d'Ising par ligne de sortie, qu'un GPU résout par recuit simulé. Sur les deux mêmes couches, il atteint 54,6 % sur MATH-500 contre 51,7 % pour l'édition de l'agent selon la même évaluation, et un second solveur, la bifurcation simulée, obtient 55,1 %. Il modifie 13% de poids en moins, demande quatre requêtes de passe avant et zéro token de LLM, et tourne en environ 31 minutes pour à peu près 0,90 $. Sur le plus grand Qwen3.5-2B, sans édition de référence à copier, la précision sur GSM8K passe de 21,6 % à 69,4 %.
Pour les lecteurs de notre test de GPT-6 Astra, c'est une correction utile du récit. Le mérite de l'agent a été de trouver le défaut, la direction et les couches ; Tree-Ising a été conçu ensuite à partir des journaux de l'agent, reprend ses deux couches sur le petit modèle et calibre la dose sur son édition. La comparaison des coûts oppose donc une recherche complète à l'application d'une recette connue, ce que les auteurs reconnaissent.
Les limites sont larges. L'étude porte sur un seul défaut, deux modèles d'une même famille et uniquement des tests de mathématiques ; les effets secondaires sur les capacités linguistiques générales n'ont pas été mesurés. Le score de base est repris du rapport du MIT au lieu d'être recalculé, chaque test a utilisé une seule graine, et seuls les gains sur MATH-500 et GSM8K résistent à la correction la plus stricte pour comparaisons multiples. Il s'agit d'un preprint non relu par des pairs, et une réparation bon marché et vérifiable vaudra davantage le jour où quelqu'un montrera qu'elle fonctionne sur un modèle que vous mettriez réellement en production.