Weight-space programming
La weight-space programming (programación en el espacio de pesos) es una capacidad propuesta en la que un modelo de lenguaje lee los pesos de una red neuronal para entender qué calcula y luego escribe o edita esos pesos directamente, sin entrenamiento por gradiente, como un programador edita código.
También llamado: Weight-Space Programming
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
El término viene de una entrada de blog de noviembre de 2026 de Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, del MIT CSAIL. Es una entrada de blog, no un artículo revisado por pares, y los autores dicen claramente que la weight-space programming no es un método. Usan el nombre para un concepto emergente y presentan sus experimentos como primeras pruebas de que los modelos de frontera empiezan a poder hacerlo.
Qué cuenta la entrada
Los autores dieron a GPT-6 Astra pesos del modelo en bruto y le hicieron preguntas en lenguaje natural. A partir de redes pequeñas, identificó a qué juego se había entrenado una política y escribió desde cero redes que juegan sin ningún entrenamiento. La prueba más grande usó Qwen3.5-0.8B. Con un kernel de Python y un número limitado de forward passes, pero sin gradientes, Astra atribuyó los bucles de razonamiento del modelo a una dirección escrita por dos capas y editó el 0.016% de los pesos. Su puntuación en MATH-500 subió del 7.9% al 48.1%. El mismo enfoque no mejoró Gemma 3 270M, que rara vez entra en bucle.
En qué se diferencia del fine-tuning
El fine-tuning y la destilación de conocimiento cambian los pesos con un optimizador y datos de entrenamiento. En la weight-space programming, un modelo de uso general razona sobre lo que calcula cada parte de la red y decide la edición por sí mismo. El arreglo de Qwen se parece a la abliteration, que también elimina un comportamiento borrando una dirección de los pesos, pero aquí el modelo encontró la dirección por su cuenta.
Límites
Los resultados vienen de un solo equipo, sobre todo con redes pequeñas, y los autores describen la capacidad como todavía limitada por la longitud de contexto y los harnesses. Han publicado los logs completos, otras personas han replicado partes del trabajo y los autores dicen que están construyendo un benchmark para ella. Tómalo como una afirmación de investigación temprana, no como una técnica en la que confiar en producción.
Términos relacionados
- Pesos del modelo
- Los pesos del modelo (model weights) son los números aprendidos dentro de una red neuronal, fijados durante el entrenamiento, que deciden cómo convierte la entrada en salida. Un checkpoint es un archivo o conjunto de archivos guardado que contiene esos pesos.
- Parámetros del modelo
- Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
- Abliteration
- La abliteration (eliminación de la dirección de rechazo) es una técnica que impide que un modelo de lenguaje rechace peticiones: encuentra la única dirección interna que transporta el rechazo y edita los pesos para que el modelo ya no pueda escribir en ella, sin reentrenarlo.
- Fine-tuning
- El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
- Destilación de conocimiento
- La destilación de conocimiento (knowledge distillation) es un método de entrenamiento en el que un modelo alumno más pequeño aprende a imitar las salidas de un modelo profesor más grande, dando lugar a un modelo destilado que conserva gran parte de la habilidad del profesor a menor coste.
Fuentes
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Takehi, Teoh, Zhang and Khattab, 2026)