Weight-space programming
La weight-space programming (programmation dans l'espace des poids) est une capacité proposée dans laquelle un modèle de langage lit les poids d'un réseau de neurones pour comprendre ce qu'il calcule, puis écrit ou modifie ces poids directement, sans entraînement par gradient, comme un programmeur modifie du code.
Aussi appelé : Weight-Space Programming
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Le terme vient d'un billet de blog de novembre 2026 signé Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, du MIT CSAIL. C'est un billet de blog, pas un article évalué par des pairs, et les auteurs disent clairement que la weight-space programming n'est pas une méthode. Ils emploient ce nom pour un concept émergent et présentent leurs expériences comme des premiers indices que les modèles de pointe commencent à en être capables.
Ce que rapporte le billet
Les auteurs ont donné à GPT-6 Astra des poids de modèle bruts et lui ont posé des questions en langage naturel. Sur de petits réseaux, il a identifié le jeu pour lequel une politique avait été entraînée, et il a écrit de zéro des réseaux capables de jouer, sans aucun entraînement. Le test le plus important portait sur Qwen3.5-0.8B. Avec un kernel Python et un nombre limité de forward passes, mais sans gradients, Astra a rattaché les boucles de raisonnement du modèle à une direction écrite par deux couches et a modifié 0.016% des poids. Son score MATH-500 est passé de 7.9% à 48.1%. La même approche n'a pas amélioré Gemma 3 270M, qui boucle rarement.
Différence avec le fine-tuning
Le fine-tuning et la distillation de connaissances modifient les poids avec un optimiseur et des données d'entraînement. Dans la weight-space programming, un modèle généraliste raisonne sur ce que calcule chaque partie du réseau et décide lui-même de la modification. La correction de Qwen ressemble à l'abliteration, qui retire aussi un comportement en supprimant une direction des poids, mais ici le modèle a trouvé la direction seul.
Limites
Les résultats viennent d'une seule équipe, surtout sur de petits réseaux, et les auteurs décrivent la capacité comme encore limitée par la longueur de contexte et les harnesses. Ils ont publié les logs complets, d'autres ont reproduit une partie du travail, et les auteurs disent construire un benchmark pour elle. Considérez-la comme une affirmation de recherche précoce, pas comme une technique sur laquelle compter en production.
Termes liés
- Poids du modèle
- Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
- Paramètres du modèle
- Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
- Abliteration
- L'abliteration (suppression de la direction de refus) est une technique qui empêche un modèle de langage de refuser des requêtes : elle trouve l'unique direction interne qui porte le refus et modifie les poids pour que le modèle ne puisse plus y écrire, sans réentraînement.
- Fine-tuning
- Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
- Distillation des connaissances
- La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.
Sources
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)