Les modèles à mélange d'experts coûtent peu à exécuter par token mais cher à garder en mémoire, car chaque expert doit résider sur le GPU alors que la plupart sont inactifs à un instant donné. Qwen3.5-122B, par exemple, compte 256 experts dans chacune de ses 48 couches MoE. Des chercheurs d'Amazon décrivent une manière de supprimer la moitié de ces experts tout en conservant les scores en programmation agentique, ce qui intéresse quiconque paie le matériel pour héberger un grand modèle ouvert.
La plupart des méthodes d'élagage notent chaque expert isolément et retirent les plus faibles. L'équipe d'Amazon soutient que les experts travaillent en groupes stables qui s'activent ensemble, si bien que retirer un expert apparemment secondaire peut casser un partenaire essentiel. HOPE, pour élagage d'experts d'ordre supérieur, construit une matrice mesurant la contribution de chaque paire d'experts quand les deux sont actifs, puis résout un programme quadratique pour choisir l'ensemble à supprimer. La diagonale de cette matrice reproduit presque exactement les classements de REAP, la principale méthode par expert individuel, avec une corrélation de rang de 0,988 ; tout gain sur REAP vient donc des termes par paires.
L'équipe a testé trois modèles, Qwen3.5-122B, Qwen3.5-35B et GLM-4.5-Air, avec deux jeux de calibration et des taux d'élagage de 10% à 50%, face à quatre méthodes plus simples. HOPE obtient le meilleur rang moyen, 2,07 sur cinq méthodes, et termine premier dans 39% des conditions. À 50% d'élagage, son rang moyen est de 1,58 contre 2,42 pour REAP. Le cas le plus parlant est Qwen3.5-35B-A3B privé de la moitié de ses experts : 42,3 sur SWE-Bench Pro, quand le modèle complet obtenait 41,8 et la version REAP tombait à 36,2. L'étape de résolution prend quelques secondes par couche, et le résultat est un checkpoint Hugging Face standard qui tourne sous vLLM ou SGLang sans modification ; le code est sur GitHub.
Pour les équipes qui hébergent elles-mêmes des modèles Qwen ou GLM, c'est le genre de changement qui peut faire descendre un déploiement d'une gamme de GPU. Qu'un modèle élagué dépasse légèrement son original surprend moins qu'il n'y paraît ; les auteurs notent que retirer des experts peu pertinents peut réduire le bruit sur une tâche ciblée, et d'autres méthodes d'élagage montrent le même effet.
Les limites sont exposées franchement. Les gains sont maximaux entre 40 et 50% d'élagage et diminuent entre 10 et 20%, où REAP et d'autres sont parfois compétitifs. Chaque couche est élaguée séparément, les interactions entre couches restant une théorie préliminaire. Les résultats proviennent d'un billet d'entreprise et d'un article sur arXiv, pas de travaux relus par des pairs, et comme la calibration porte sur du code, toute personne ayant une autre charge de travail devrait tester avant de se fier aux chiffres.