Pocas semanas después de que investigadores del MIT mostraran a GPT-6 Astra reparando un modelo pequeño mediante la reescritura de sus pesos, un nuevo preprint en arXiv sostiene que la misma reparación puede hacerse sin ningún modelo de lenguaje. Tree-Ising plantea el arreglo como un problema matemático sobre los bits almacenados de los pesos y se lo entrega a un solucionador. Si el resultado se confirma, editar pesos podría depender menos de la intuición de un agente y más de formular bien un problema de optimización.
El objetivo es un fallo conocido de Qwen3.5-0.8B. En modo de razonamiento cae en ciclos cortos y repetitivos en el 93% de los problemas de MATH-500 con un límite de 32.768 tokens, lo que lo deja en un 7,9% de acierto. El agente Astra lo corrigió rastreando los bucles hasta las capas MLP 15 y 19 y reescribiendo 64 columnas en cada una. Según los registros públicos del agente, hicieron falta 158 turnos, 89,7 millones de tokens, 50 solicitudes de pasada hacia delante y 15,6 horas, que los autores valoran en 312 $.
Tree-Ising solo permite dos tipos de cambio en cada peso: invertir el signo o desplazarlo por una potencia de dos, de modo que los exponentes compartidos del almacenamiento BF16 no se tocan. Así cada cambio candidato se convierte en una decisión de sí o no, y el objetivo se divide exactamente en un problema de Ising por fila de salida, que una GPU resuelve con recocido simulado. En las mismas dos capas alcanza un 54,6% en MATH-500 frente al 51,7% de la edición del agente con la misma evaluación, y un segundo solucionador, la bifurcación simulada, llega al 55,1%. Cambia un 13% menos de pesos, necesita cuatro solicitudes de pasada hacia delante y cero tokens de LLM, y tarda unos 31 minutos por aproximadamente 0,90 $. En el modelo mayor Qwen3.5-2B, sin ninguna edición de referencia que copiar, el acierto en GSM8K sube del 21,6% al 69,4%.
Para quien siga nuestra reseña de GPT-6 Astra, esto corrige el relato de forma útil. El mérito del agente fue encontrar el fallo, la dirección y las capas; Tree-Ising se diseñó después leyendo los registros del agente, reutiliza sus dos capas en el modelo pequeño y calibra la dosis con su edición. La comparación de costes enfrenta, por tanto, una búsqueda completa con la aplicación de una receta ya conocida, y los autores lo reconocen.
Los límites son amplios. El estudio cubre un único fallo, dos modelos de una misma familia y solo pruebas de matemáticas; no se midieron efectos secundarios en la capacidad lingüística general. La puntuación base se toma del informe del MIT en lugar de repetirse, cada prueba usó una sola semilla y solo las mejoras en MATH-500 y GSM8K resisten la corrección más estricta por comparaciones múltiples. Es un preprint sin revisión por pares, y una reparación barata y auditable valdrá más cuando alguien demuestre que funciona en un modelo que de verdad pondrías en producción.