Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Weight-space programming

La weight-space programming (programmation dans l'espace des poids) est une capacité proposée dans laquelle un modèle de langage lit les poids d'un réseau de neurones pour comprendre ce qu'il calcule, puis écrit ou modifie ces poids directement, sans entraînement par gradient, comme un programmeur modifie du code.

Aussi appelé : Weight-Space Programming

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Le terme vient d'un billet de blog de novembre 2026 signé Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, du MIT CSAIL. C'est un billet de blog, pas un article évalué par des pairs, et les auteurs disent clairement que la weight-space programming n'est pas une méthode. Ils emploient ce nom pour un concept émergent et présentent leurs expériences comme des premiers indices que les modèles de pointe commencent à en être capables.

Ce que rapporte le billet

Les auteurs ont donné à GPT-6 Astra des poids de modèle bruts et lui ont posé des questions en langage naturel. Sur de petits réseaux, il a identifié le jeu pour lequel une politique avait été entraînée, et il a écrit de zéro des réseaux capables de jouer, sans aucun entraînement. Le test le plus important portait sur Qwen3.5-0.8B. Avec un kernel Python et un nombre limité de forward passes, mais sans gradients, Astra a rattaché les boucles de raisonnement du modèle à une direction écrite par deux couches et a modifié 0.016% des poids. Son score MATH-500 est passé de 7.9% à 48.1%. La même approche n'a pas amélioré Gemma 3 270M, qui boucle rarement.

Différence avec le fine-tuning

Le fine-tuning et la distillation de connaissances modifient les poids avec un optimiseur et des données d'entraînement. Dans la weight-space programming, un modèle généraliste raisonne sur ce que calcule chaque partie du réseau et décide lui-même de la modification. La correction de Qwen ressemble à l'abliteration, qui retire aussi un comportement en supprimant une direction des poids, mais ici le modèle a trouvé la direction seul.

Limites

Les résultats viennent d'une seule équipe, surtout sur de petits réseaux, et les auteurs décrivent la capacité comme encore limitée par la longueur de contexte et les harnesses. Ils ont publié les logs complets, d'autres ont reproduit une partie du travail, et les auteurs disent construire un benchmark pour elle. Considérez-la comme une affirmation de recherche précoce, pas comme une technique sur laquelle compter en production.

Termes liés

Poids du modèle
Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
Paramètres du modèle
Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
Abliteration
L'abliteration (suppression de la direction de refus) est une technique qui empêche un modèle de langage de refuser des requêtes : elle trouve l'unique direction interne qui porte le refus et modifie les poids pour que le modèle ne puisse plus y écrire, sans réentraînement.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Distillation des connaissances
La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.

Sources