Mixture-of-Expertsモデルは、トークンあたりの実行コストは安いものの、メモリに載せておくコストが高くつきます。どの瞬間もほとんどのエキスパートは使われていないのに、すべてをGPU上に置いておく必要があるからです。たとえばQwen3.5-122Bは、48あるMoE層のそれぞれに256のエキスパートを持っています。Amazonの研究者は、そのエキスパートの半分を削ってもエージェント型コーディングのスコアを保てる方法を発表しました。大きなオープンモデルをホストするハードウェア代を払う人にとっては重要な話です。
多くの枝刈り手法は、エキスパートを1つずつ評価して弱いものから外します。Amazonのチームは、エキスパートは一緒に動く安定したグループで働いているため、重要でなさそうな1つを外すと、重要な相棒まで機能しなくなることがあると主張します。HOPE(高次のエキスパート枝刈り)は、2つのエキスパートが同時に動くときにそのペアがどれだけ貢献するかを行列にまとめ、二次計画問題を解いて削除する組を選びます。この行列の対角成分は、単体評価の代表的手法であるREAPの順位をほぼそのまま再現し、順位相関は0.988です。つまりREAPを上回る分は、ペアの項から生まれています。
チームはQwen3.5-122B、Qwen3.5-35B、GLM-4.5-Airの3モデルで、2種類の較正データと10%から50%の枝刈り率を使い、より単純な4手法と比較しました。HOPEは5手法中で平均順位2.07と最も良く、39%の条件で1位でした。50%の枝刈りでは平均順位1.58で、REAPは2.42でした。最も目を引くのはエキスパートを半分 にしたQwen3.5-35B-A3Bで、SWE-Bench Proで42.3を記録しました。元のモデルは41.8、REAP版は36.2に落ちています。解く処理は1層あたり数秒で、出力は標準的なHugging Faceのチェックポイントなので、vLLMやSGLangで変更なしに動きます。コードはGitHubで公開されています。
QwenやGLMのモデルを自前でホストするチームにとっては、使うGPUを1段下げられるかもしれない種類の変化です。枝刈りしたモデルが元のモデルをわずかに上回るのは、見かけほど不思議ではありません。関連の薄いエキスパートを外すと特定のタスクでノイズが減ることがあると著者らは述べており、他の枝刈り手法でも同じ現象が見られます。
限界ははっきり書かれています。改善が最も大きいのは40から50%の枝刈りで、10から20%では縮み、REAPなどが互角になる場合もあります。各層は個別に枝刈りされ、層をまたぐ相互作用は予備的な理論にとどまります。結果は企業ブログとarXivの論文によるもので、査読済みの研究ではありません。また較正にコードを使っているため、別の用途で使う人は数字を信じる前に自分で試すべきです。