MITの研究者がGPT-6 Astraに小型モデルの重みを書き換えさせて不具合を直してみせてから数週間後、同じ修復は言語モデルをまったく使わずにできると主張する新しいarXivのプレプリントが出ました。Tree-Isingは、この修復を重みの保存ビットに関する数学の問題として定式化し、ソルバーに解かせます。この結果が確かなら、重みの編集はエージェントの洞察よりも、最適化問題を正しく立てられるかどうかにかかっているのかもしれません。
対象はQwen3.5-0.8Bの既知の不具合です。思考モードでは、32,768トークンの上限のもとでMATH-500の問題の93%で短い繰り返しのループに陥り、正答率は7.9%にとどまります。Astraエージェントは、ループの原因をMLPの第15層と第19層までたどり、それぞれ64列を書き換えて修正しました。エージェントの公開ログによると、これには158ターン、8,970万トークン、50回のフォワードパス要求、15.6時間がかかり、著者らはその費用を$312と見積もっています。
Tree-Isingが各重みに許す変更は、符号の反転か2のべき乗によるシフトの2種類だけで、BF16保存形式の共有指数には手を付けません。これにより候補となる変更はすべて「するかしないか」の二択になり、目的関数は出力行ごとに1つのイジング問題へと厳密に分解でき、GPUがシミュレーテッドアニーリングで解きます。同じ2層で、同じ評価条件のもとMATH-500で54.6%を記録し、エージェントの編集の51.7%を上回りました。別のソルバーであるシミュレーテッド分岐では55.1%です。変更する重みは13%少なく、必要なのはフォワードパス要求4回とLLMトークン0で、所要時間は約31分、費用はおよそ$0.90です。より大きなQwen3.5-2Bでは、参考にする編集がない状態でGSM8Kの正答率が21.6%から69.4%に上がりました。
当サイトのGPT-6 Astraのレビューを読んだ方にとって、これは話を補正する有益な材料です。エージェントの功績は、不具合と方向と層を見つけたことにあります。Tree-Isingはその後、エージェントのログを読んで設計されたもので、小型モデルではエージェントが選んだ2層をそのまま使い、編集量もエージェントの編集を基準に調整しています。つまり費用の比較は、ゼロから探す作業と、わかっている手順を当てはめる作業を比べたものであり、著者らもそれを認めています。
限界は広範です。研究が扱うのは1種類の不具合、同じファミリーの2モデル、数学のベンチマークだけで、一般的な言語能力への副作用は測定されていません。ベースのスコアはMITの報告から引用したもので再測定されておらず、各ベンチマークは1つのシードで実行され、多重比較に対する最も厳しい補正後も有意なのはMATH-500とGSM8Kでの改善だけです。査読前のプレプリントであり、安価で検証可能な修復の価値が本当に高まるのは、実際に運用するようなモデルで機能することを誰かが示したときです。