전문가 혼합(MoE) 모델은 토큰당 실행 비용은 싸지만 메모리에 올려 두는 비용은 비쌉니다. 어느 순간 이든 대부분의 전문가는 쉬고 있는데도 모든 전문가가 GPU에 올라가 있어야 하기 때문입니다. 예를 들어 Qwen3.5-122B는 48개 MoE 층마다 256개의 전문가를 둡니다. Amazon 연구진은 이 전문가의 절반을 지우면서도 에이전트 코딩 점수를 유지하는 방법을 내놓았습니다. 큰 오픈 모델을 호스팅할 하드웨어 비용을 내는 사람이라면 주목할 만합니다.
대부분의 가지치기 방식은 전문가를 하나씩 평가해 약한 것부터 뺍니다. Amazon 팀은 전문가들이 함께 작동하는 안정된 그룹으로 일하기 때문에, 중요해 보이지 않는 하나를 빼면 중요한 짝까지 망가질 수 있다고 주장합니다. HOPE(고차 전문가 가지치기)는 두 전문가가 함께 활성화될 때 그 쌍이 얼마나 기여하는지를 행렬로 만들고, 이차 계획 문제를 풀어 제거할 집합을 고릅니다. 이 행렬의 대각선은 대표적인 단일 전문가 방식인 REAP의 순위를 거의 그대로 재현하며 순위 상관은 0.988입니다. 따라서 REAP보다 나은 부분은 모두 쌍 항에서 나옵니다.
팀은 Qwen3.5-122B, Qwen3.5-35B, GLM-4.5-Air 세 모델에 두 가지 보정 데이터와 10%에서 50%까지의 가지치기 비율을 적용해 더 단순한 네 가지 방식과 비교했습니다. HOPE는 다섯 방식 중 평균 순위 2.07로 가장 좋았고, 조건의 39%에서 1위를 했습니다. 50% 가지치기에서 평균 순위는 1.58로 REAP의 2.42보다 앞섰습니다. 가장 눈에 띄는 사례는 전문가를 절반으로 줄인 Qwen3.5-35B-A3B로, SWE-Bench Pro에서 42.3을 기록했습니다. 원래 모델은 41.8, REAP 버전은 36.2로 떨어졌습니다. 풀이 단계는 층당 몇 초가 걸리고, 결과물은 표준 Hugging Face 체크포인트라 vLLM이나 SGLang에서 수정 없이 돌아갑니다. 코드는 GitHub에 있습니다.
Qwen이나 GLM 모델을 직접 호스팅하는 팀에게는 배포를 한 단 계 낮은 GPU로 옮길 수 있는 종류의 변화입니다. 가지치기한 모델이 원본을 살짝 앞서는 것은 생각만큼 놀랍지 않습니다. 관련이 적은 전문가를 빼면 특정 과제에서 잡음이 줄 수 있다고 저자들은 설명하며, 다른 가지치기 방식에서도 같은 현상이 나타납니다.
한계도 분명히 적혀 있습니다. 개선 폭은 40에서 50% 가지치기에서 가장 크고 10에서 20%에서는 줄어들며, 이 구간에서는 REAP 등이 비슷한 경우도 있습니다. 각 층은 따로 가지치기되고, 층 사이의 상호작용은 예비 이론으로 남아 있습니다. 결과는 회사 블로그와 arXiv 논문에서 나온 것으로 동료 심사를 거친 연구가 아니며, 코드로 보정했기 때문에 다른 작업에 쓰려는 사람은 수치를 믿기 전에 직접 시험해 봐야 합니다.