Weight-Space Programming(重み空間プログラミング)
Weight-Space Programming(重み空間プログラミング)は、言語モデルがニューラルネットワークの重みを読んで何を計算しているかを理解し、勾配による学習なしにその重みを直接書いたり編集したりする 、提案段階の能力です。プログラマーがコードを編集するのに似ています。
別名: Weight-Space Programming
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
この用語は、MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabによる2026年11月のブログ記事に由来します。査読を受けた論文ではなくブログ記事であり、著者らはweight-space programmingは手法ではないとはっきり述べています。彼らはこの名前を新たに現れつつある概念に使い、実験はフロンティアモデルがそれをできるようになり始めていることの初期の証拠だと位置づけています。
記事の報告内容
著者らはGPT-6 Astraに生のモデルの重みを渡し、自然言語で質問しました。小さなネットワークでは、ポリシーがどのゲーム用に学習されたかを言い当て、学習なしでゲームをプレイするネットワークをゼロから書きました。最大のテストではQwen3.5-0.8Bを使いました。Pythonカーネルと限られた回数のforward passを使い、勾配は使わずに、Astraはモデルの推論ループを2つの層が書き込む一つの方向に突き止め、重みの0.016%を編集しました。MATH-500のスコアは7.9%から48.1%に上がりました。同じ方法は、ループがめったに起きないGemma 3 270Mでは改善につながりませんでした。
ファインチューニングとの違い
ファインチューニングや知識蒸留は、オプティマイザーと学習データで重みを変えます。weight-space programmingでは、汎用モデルがネットワークの各部分が何を計算しているかを推論し、編集内容を自ら決めます。Qwenの修正は、重みから一つの方向を消して振る舞いを取り除くabliterationに似ていますが、ここではモデル自身がその方向を見つけました。
限界
結果は一つのチームによるもので、大半は小さなネットワークでの実験です。著者らも、この能力はまだコンテキスト長とハーネスによって制約されていると述べています。完全なログは公開され、ほかの人々も一部を再現しており、著者らはそのためのベンチマークを構築中だとしています。本番で頼る技術ではなく、初期の研究上の主張として扱ってください。
関連用語
- モデルの重み
- モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
- モデルのパラメータ
- モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
- Abliteration(アブリテレーション)
- Abliteration(アブリテレーション)は、言語モデルが要求を拒否しないようにする手法です。拒否を担う内部の単一の方向を見つけ、モデルがその方向に書き込めないように重みを編集します。再学習は不要です。
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- 知識蒸 留
- 知識蒸留(knowledge distillation)とは、小さな生徒モデルに大きな教師モデルの出力をまねさせる学習方法です。教師の能力の多くを低いコストで保った蒸留モデルができます。
出典
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)