Weight-Space Programming
Weight-Space Programming (Programmieren im Gewichtsraum) ist eine vorgeschlagene Fähigkeit, bei der ein Sprachmodell die Gewichte eines neuronalen Netzes liest, um herauszufinden, was es berechnet, und diese Gewichte dann direkt schreibt oder bearbeitet, ohne Gradiententraining, so wie ein Programmierer Code bearbeitet.
Auch: Weight-Space Programming
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Der Begriff stammt aus einem Blogbeitrag vom November 2026 von Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab am MIT CSAIL. Es ist ein Blogbeitrag, kein begutachtetes Paper, und die Autoren sagen klar, dass Weight-Space Programming keine Methode ist. Sie verwenden den Namen für ein entstehendes Konzept und stellen ihre Experimente als frühe Belege dafür vor, dass Frontier-Modelle es allmählich können.
Was der Beitrag berichtet
Die Autoren gaben GPT-6 Astra rohe Modellgewichte und stellten Fragen in natürlicher Sprache. Bei kleinen Netzen erkannte es, auf welches Spiel eine Policy trainiert worden war, und schrieb spielende Netze von Grund auf, ganz ohne Training. Der größte Test nutzte Qwen3.5-0.8B. Mit einem Python-Kernel und einer begrenzten Zahl von Forward Passes, aber ohne Gradienten, führte Astra die Denkschleifen des Modells auf eine Richtung zurück, die zwei Schichten schreiben, und bearbeitete 0.016% der Gewichte. Der MATH-500-Wert stieg von 7.9% auf 48.1%. Derselbe Ansatz verbesserte Gemma 3 270M nicht, das selten in Schleifen gerät.
Unterschied zum Fine-Tuning
Fine-Tuning und Knowledge Distillation ändern Gewichte mit einem Optimierer und Trainingsdaten. Beim Weight-Space Programming überlegt ein Allzweckmodell, was jeder Teil des Netzes berechnet, und entscheidet selbst über die Änderung. Die Korrektur bei Qwen ähnelt der Abliteration, die ebenfalls ein Verhalten entfernt, indem sie eine Richtung aus den Gewichten löscht, doch hier fand das Modell die Richtung selbst.
Grenzen
Die Ergebnisse stammen von einem Team, meist an kleinen Netzen, und die Autoren beschreiben die Fähigkeit als noch begrenzt durch Kontextlänge und Harnesses. Sie haben vollständige Logs veröffentlicht, andere haben Teile der Arbeit repliziert, und die Autoren sagen, dass sie einen Benchmark dafür bauen. Sieh es als frühe Forschungsbehauptung, nicht als Technik, auf die du dich in Produktion verlassen solltest.
Verwandte Begriffe
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
- Abliteration
- Abliteration (Entfernen der Ablehnungsrichtung) ist eine Technik, die ein Sprachmodell davon abhält, Anfragen abzulehnen: Sie findet die eine interne Richtung, die die Ablehnung trägt, und bearbeitet die Gewichte so, dass das Modell nicht mehr in sie schreiben kann, ganz ohne erneutes Training.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Wissensdestillation
- Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
Quellen
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)