Weight-space programming
A weight-space programming (programação no espaço de pesos) é uma capacidade proposta em que um modelo de linguagem lê os pesos de uma rede neural para entender o que ela calcula e depois escreve ou edita esses pesos diretamente, sem treinamento por gradiente, como um programador edita código.
Também chamado: Weight-Space Programming
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
O termo vem de um post de blog de novembro de 2026 de Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, do MIT CSAIL. É um post de blog, não um artigo revisado por pares, e os autores dizem claramente que a weight-space programming não é um método. Eles usam o nome para um conceito emergente e apresentam seus experimentos como primeiras evidências de que modelos de fronteira estão começando a conseguir fazer isso.
O que o post relata
Os autores deram ao GPT-6 Astra pesos do modelo brutos e fizeram perguntas em linguagem natural. Em redes pequenas, ele identificou para qual jogo uma política tinha sido treinada e escreveu do zero redes que jogam, sem nenhum treinamento. O maior teste usou o Qwen3.5-0.8B. Com um kernel Python e um número limitado de forward passes, mas sem gradientes, o Astra atribuiu os loops de raciocínio do modelo a uma direção escrita por duas camadas e editou 0.016% dos pesos. A pontuação no MATH-500 subiu de 7.9% para 48.1%. A mesma abordagem não melhorou o Gemma 3 270M, que raramente entra em loop.
Como difere do fine-tuning
O fine-tuning e a destilação de conhecimento mudam os pesos com um otimizador e dados de treinamento. Na weight-space programming, um modelo de uso geral raciocina sobre o que cada parte da rede calcula e decide a edição sozinho. A correção do Qwen lembra a abliteration, que também remove um comportamento apagando uma direção dos pesos, mas aqui o modelo encontrou a direção por conta própria.
Limites
Os resultados vêm de uma única equipe, principalmente com redes pequenas, e os autores descrevem a capacidade como ainda limitada pelo tamanho do contexto e pelos harnesses. Eles publicaram os logs completos, outras pessoas replicaram partes do trabalho, e os autores dizem que estão construindo um benchmark para ela. Trate isso como uma afirmação inicial de pesquisa, não como uma técnica para usar em produção.
Termos relacionados
- Pesos do modelo
- Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
- Parâmetros do modelo
- Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
- Abliteration
- A abliteration (remoção da direção de recusa) é uma técnica que impede um modelo de linguagem de recusar pedidos: ela encontra a única direção interna que carrega a recusa e edita os pesos para que o modelo não consiga mais escrever nela, sem nenhum retreinamento.
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Destilação de conhecimento
- A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.
Fontes
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)