Mixture-of-Experts-Modelle sind pro Token günstig im Betrieb, aber teuer im Speicher, weil jeder Experte auf der GPU liegen muss, obwohl die meisten in jedem Moment untätig sind. Qwen3.5-122B etwa hat 256 Experten in jeder seiner 48 MoE-Schichten. Forschende von Amazon beschreiben nun einen Weg, die Hälfte dieser Experten zu streichen und die Ergebnisse beim agentischen Programmieren trotzdem zu halten. Das betrifft alle, die die Hardware für ein großes offenes Modell bezahlen.
Die meisten Pruning-Verfahren bewerten jeden Experten einzeln und werfen die schwächsten hinaus. Das Amazon-Team argumentiert, dass Experten in stabilen Gruppen arbeiten, die gemeinsam feuern; wer einen scheinbar unwichtigen entfernt, kann einen wichtigen Partner lahmlegen. HOPE, kurz für Pruning von Experten höherer Ordnung, baut eine Matrix darüber auf, wie stark jedes Expertenpaar beiträgt, wenn beide aktiv sind, und löst dann ein quadratisches Programm, um die zu entfernende Menge zu wählen. Die Diagonale dieser Matrix reproduziert fast genau die Rangfolge von REAP, dem führenden Einzelexperten-Verfahren, mit einer Rangkorrelation von 0,988. Jeder Vorsprung vor REAP stammt also aus den Paartermen.
Das Team testete drei Modelle, Qwen3.5-122B, Qwen3.5-35B und GLM-4.5-Air, mit zwei Kalibrierdatensätzen und Pruning-Raten von 10% bis 50% gegen vier einfachere Verfahren. HOPE erreichte den besten Durchschnittsrang, 2,07 unter fünf Methoden, und lag in 39% der Bedingungen vorn. Bei 50% Pruning betrug sein Durchschnittsrang 1,58 gegenüber 2,42 für REAP. Das auffälligste Beispiel ist Qwen3.5-35B-A3B ohne die Hälfte seiner Experten: 42,3 auf SWE-Bench Pro, während das vollständige Modell 41,8 erzielte und die REAP-Version auf 36,2 fiel. Der Lösungsschritt dauert einige Sekunden pro Schicht, und das Ergebnis ist ein normaler Hugging-Face-Checkpoint, der ohne Änderungen in vLLM oder SGLang läuft; der Code liegt auf GitHub.
Für Teams, die Qwen- oder GLM-Modelle selbst hosten, ist das eine Änderung, die einen Einsatz eine GPU-Klasse nach unten verschieben kann. Dass ein beschnittenes Modell sein Original knapp übertrifft, ist weniger überraschend, als es klingt; die Autoren weisen darauf hin, dass das Entfernen wenig relevanter Experten das Rauschen bei einer Zielaufgabe senken kann, und andere Pruning-Verfahren zeigen denselben Effekt.
Die Grenzen werden offen benannt. Die Gewinne sind bei 40 bis 50% Pruning am größten und schrumpfen bei 10 bis 20%, wo REAP und andere manchmal mithalten. Jede Schicht wird für sich beschnitten; Wechselwirkungen zwischen Schichten bleiben vorläufige Theorie. Die Ergebnisse stammen aus einem Firmenblog und einem arXiv-Paper, nicht aus begutachteter Arbeit, und weil mit Code kalibriert wurde, sollte jeder mit anderer Arbeitslast selbst testen, bevor er den Zahlen vertraut.