Modelos de mistura de especialistas são baratos de rodar por token, mas caros de manter na memória, porque cada especialista precisa ficar na GPU mesmo que a maioria esteja ociosa a cada instante. O Qwen3.5-122B, por exemplo, tem 256 especialistas em cada uma de suas 48 camadas MoE. Pesquisadores da Amazon descrevem agora um jeito de eliminar metade desses especialistas mantendo as notas em programação com agentes, o que interessa a quem paga o hardware para hospedar um modelo aberto grande.
A maioria dos métodos de poda avalia cada especialista isoladamente e descarta os mais fracos. A equipe da Amazon argumenta que os especialistas trabalham em grupos estáveis que disparam juntos, então tirar um que parece pouco importante pode quebrar um parceiro que importa. O HOPE, sigla para poda de especialistas de ordem superior, monta uma matriz de quanto cada par de especialistas contribui quando os dois estão ativos e depois resolve um programa quadrático para escolher o conjunto a remover. A diagonal dessa matriz reproduz quase exatamente as classificações do REAP, o principal método de especialista individual, com correlação de postos de 0,988, então qualquer ganho sobre o REAP vem dos termos de pares.
A equipe testou três modelos, Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air, com dois conjuntos de calibração e taxas de poda de 10% a 50%, contra quatro métodos mais simples. O HOPE teve o melhor posto médio, 2,07 entre cinco métodos, e ficou em primeiro em 39% das condições. Com 50% de poda, seu posto médio foi 1,58, contra 2,42 do REAP. O caso de destaque é o Qwen3.5-35B-A3B sem metade dos especialistas, com 42,3 no SWE-Bench Pro, enquanto o modelo completo marcou 41,8 e a versão do REAP caiu para 36,2. A etapa de resolução leva alguns segundos por camada, e o resultado é um checkpoint padrão do Hugging Face que roda no vLLM ou no SGLang sem mudanças; o código está no GitHub.
Para equipes que hospedam modelos Qwen ou GLM por conta própria, é o tipo de mudança que pode levar uma implantação para uma GPU de categoria inferior. Um modelo podado superar levemente o original surpreende menos do que parece; os autores observam que remover especialistas pouco relevantes pode reduzir o ruído numa tarefa específica, e outros métodos de poda mostram o mesmo efeito.
Os limites são declarados com clareza. Os ganhos são maiores com poda de 40 a 50% e diminuem com 10 a 20%, faixa em que o REAP e outros às vezes competem. Cada camada é podada separadamente, e as interações entre camadas ficam como teoria preliminar. Os resultados vêm de um post corporativo e de um artigo no arXiv, não de trabalho revisado por pares, e como a calibração foi feita com código, quem tem outra carga de trabalho deve testar antes de confiar nos números.