Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Weight-space programming

A weight-space programming (programação no espaço de pesos) é uma capacidade proposta em que um modelo de linguagem lê os pesos de uma rede neural para entender o que ela calcula e depois escreve ou edita esses pesos diretamente, sem treinamento por gradiente, como um programador edita código.

Também chamado: Weight-Space Programming

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

O termo vem de um post de blog de novembro de 2026 de Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, do MIT CSAIL. É um post de blog, não um artigo revisado por pares, e os autores dizem claramente que a weight-space programming não é um método. Eles usam o nome para um conceito emergente e apresentam seus experimentos como primeiras evidências de que modelos de fronteira estão começando a conseguir fazer isso.

O que o post relata

Os autores deram ao GPT-6 Astra pesos do modelo brutos e fizeram perguntas em linguagem natural. Em redes pequenas, ele identificou para qual jogo uma política tinha sido treinada e escreveu do zero redes que jogam, sem nenhum treinamento. O maior teste usou o Qwen3.5-0.8B. Com um kernel Python e um número limitado de forward passes, mas sem gradientes, o Astra atribuiu os loops de raciocínio do modelo a uma direção escrita por duas camadas e editou 0.016% dos pesos. A pontuação no MATH-500 subiu de 7.9% para 48.1%. A mesma abordagem não melhorou o Gemma 3 270M, que raramente entra em loop.

Como difere do fine-tuning

O fine-tuning e a destilação de conhecimento mudam os pesos com um otimizador e dados de treinamento. Na weight-space programming, um modelo de uso geral raciocina sobre o que cada parte da rede calcula e decide a edição sozinho. A correção do Qwen lembra a abliteration, que também remove um comportamento apagando uma direção dos pesos, mas aqui o modelo encontrou a direção por conta própria.

Limites

Os resultados vêm de uma única equipe, principalmente com redes pequenas, e os autores descrevem a capacidade como ainda limitada pelo tamanho do contexto e pelos harnesses. Eles publicaram os logs completos, outras pessoas replicaram partes do trabalho, e os autores dizem que estão construindo um benchmark para ela. Trate isso como uma afirmação inicial de pesquisa, não como uma técnica para usar em produção.

Termos relacionados

Pesos do modelo
Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
Parâmetros do modelo
Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
Abliteration
A abliteration (remoção da direção de recusa) é uma técnica que impede um modelo de linguagem de recusar pedidos: ela encontra a única direção interna que carrega a recusa e edita os pesos para que o modelo não consiga mais escrever nela, sem nenhum retreinamento.
Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
Destilação de conhecimento
A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.

Fontes