Los modelos de mezcla de expertos son baratos de ejecutar por token pero caros de mantener en memoria, porque cada experto tiene que estar en la GPU aunque la mayoría esté inactiva en cada momento. Qwen3.5-122B, por ejemplo, tiene 256 expertos en cada una de sus 48 capas MoE. Investigadores de Amazon describen ahora una forma de eliminar la mitad de esos expertos sin perder puntuación en programación con agentes, algo que importa a cualquiera que pague el hardware para alojar un modelo abierto grande.
La mayoría de los métodos de poda puntúan cada experto por separado y descartan los más débiles. El equipo de Amazon sostiene que los expertos trabajan en grupos estables que se activan juntos, así que quitar uno que parece poco importante puede romper a un compañero que sí lo es. HOPE, siglas de poda de expertos de orden superior, construye una matriz de cuánto aporta cada par de expertos cuando ambos están activos y luego resuelve un programa cuadrático para elegir qué conjunto retirar. La diagonal de esa matriz reproduce casi exactamente las clasificaciones de REAP, el principal método de experto individual, con una correlación de rangos de 0,988, de modo que cualquier mejora frente a REAP procede de los términos por pares.
El equipo probó tres modelos, Qwen3.5-122B, Qwen3.5-35B y GLM-4.5-Air, con dos conjuntos de calibración y tasas de poda del 10% al 50%, frente a cuatro métodos más simples. HOPE obtuvo el mejor rango medio, 2,07 entre cinco métodos, y quedó primero en el 39% de las condiciones. Con un 50% de poda su rango medio fue 1,58 frente a 2,42 de REAP. El caso más llamativo es Qwen3.5-35B-A3B sin la mitad de sus expertos, con 42,3 en SWE-Bench Pro cuando el modelo completo marcaba 41,8 y la versión de REAP caía a 36,2. El paso de resolución tarda unos segundos por capa y el resultado es un checkpoint estándar de Hugging Face que funciona en vLLM o SGLang sin cambios; el código está en GitHub.
Para equipos que alojan modelos Qwen o GLM por su cuenta, este es el tipo de cambio que puede bajar un despliegue a una GPU de gama inferior. Que un modelo podado supere ligeramente a su original sorprende menos de lo que parece; los autores señalan que eliminar expertos poco relevantes puede reducir el ruido en una tarea concreta, y otros métodos de poda muestran el mismo efecto.
Los límites se exponen con claridad. Las mejoras son mayores con una poda del 40 al 50% y se reducen con el 10 al 20%, donde REAP y otros a veces compiten. Cada capa se poda por separado, y las interacciones entre capas quedan como teoría preliminar. Los resultados proceden de un post corporativo y de un artículo en arXiv, no de trabajo revisado por pares, y como la calibración es de código, quien tenga otra carga de trabajo debería probarlo antes de fiarse de las cifras.