ニューラルネットワークの重みは、ふつうは読めないものとして扱われます。最適化手法が生み出した何百万もの数値で、調べるにしても間接的な方法しかありません。MIT CSAILの研究者4人によるブログ記事は、動画チャンネルTwo Minute Papersでも取り上げられ、GPT-6 Astraはこの重みをコードのように読み書きできると主張し、その考え方を「重み空間プログラミング」と呼んでいます。
実験は小さな規模から始まります。それぞれ17,253個の重みを持つ同一構造の4つのネットワークを、Breakout、Pong、Pac-Man、Freewayのマス目版で遊ぶように学習させました。選択肢を示さず、生の重みをテキストで渡しただけで、Astraは4つすべてのゲームを言い当て、1つは99%の確信度でした。3つの小さな拡散モデルがそれぞれどんな形を描くかも、やはり重みだけから特定しました。入力層と出力層を取り除いた3つの小さな文字単位の言語モデルについては、学習に使われたのがPython、ローマ字の日本語、英語のどれかを当て、コピーを担うヘッドをすべて見つけました。これは研究者がネットワークを実際に動かして測った結果と一致しています。
次に重みを書きました。坂に正面から突っ込んで動けなくなる車の方策を渡されると、Astraは失敗の理由を説明し、ツールなしの1回の試みで重みの3.5%を書き換え、1,024回のテストすべてで車を成功させました。目玉の結果は実際のモデルでのものです。学習なしでQwen3.5-0.8Bの数学の力を上げるよう求められたAstraは、思考モードでループに陥るというこのモデルの既知の癖を、MLPの第15層と第19層が書き込む1つの方向に突き止め、それを差し引きました。変更したのは重みの0.016%です。MATH-500は7.9%から48.1%に、GSM8Kは13.8%から67.1%に、指示への従い方を測るIFEvalは21.0%から62.3%に上がりました。
当サイトのGPT-6 Astraのレビューを読んだ方にとって、これはモデルが表面の文章ではなく構造について推論していることを示す印象的な実演です。すぐに続く研究も生まれました。別記事で取り上げるプレプリントTree-Isingは、エージェントの公開ログをもとに同じ修復をソルバーの問題として組み立て直し、約0.90ドルのGPU時間でMATH-500のスコアをわずかに上回りました。
その続報こそ、注意点を考える枠組みになります。これは査読済みの論文ではなくブログ記事で、実験の大半は実運用のどのモデルよりもはるかに小さなネットワークを使っています。Qwenの修正は新しい能力を加えたのではなく、よく知られた1つの不具合を取り除いたもので、安価な最適化手法でも同じ結果が出たことは、難しかったのは編集ではなく診断だったことを示唆します。能力そのものは本物のようですが、どこまで規模を広げられるのか、1つの作業にどれだけの費用がかかるのかは、まだわかっていません。