모델을 4비트 가중치로 압축하는 것은 더 저렴한 GPU에서 에이전트를 돌리는 일반적인 방법이며, 그 대가로 에이전트가 길고 여러 단계로 이뤄진 작업에서 성능이 떨어지는 것이 보통입니다. 칭화대학교 Institute for AI Industry Research의 프리프린트인 SteerDistill은 이 손실을 정면으로 다룹니다. 일반적인 텍스트 품질이 아니라 압축된 모델이 실제로 실패하는 단계를 겨냥하는 방법이므로, 소박한 하드웨어에서 에이전트를 운영하는 사람에게 의미가 있습니다.
핵심은 전체 정밀도 모델을 코치로 쓰는 것입니다. 4비트 학생 모델이 어떤 턴에서 실패하면 원래 모델이 수정안을 제시하고, 학생은 이를 환경에서 시도하며, 코치는 그 결과에 따라 조언을 조정합니다. 효과가 있었던 수정은 이후 학생에게 학습됩니다. 학생은 해당 턴에서는 코치를 받은 자신의 행동을, 나머지 턴에서는 원래 모델을 따라 하도록 배웁니다. 실행 시에는 학생이 혼자 작동합니다. 가중치는 64개 단위 그룹의 4비트 정수로 저장되고 활성화는 16비트로 유지되며, 이 설정을 W4A16이라고 부릅니다.
저자들은 Qwen3-8B, Qwen3.5-4B, Gemma 4 12B-it 세 모델을 BFCL V4, τ²-Bench, WebShop, ALFWorld, 그리고 7개 데이터셋으로 구성한 검색 질의응답 세트 등 5개 에이전트 벤치마크에서 시험했습니다. 평균적으로 Gemma 4 12B-it은 전체 정밀도의 65.13 대비 64.31을, Qwen3-8B는 53.54 대비 53.18을 기록했습니다. 각 경우 가장 강한 경쟁 방법은 강화학습 방식인 QeRL이었으며 약 2점 뒤처졌습니다. Qwen3-8B로 수행한 τ²-Bench에서 SteerDistill은 A100에서 32 GPU 시간 학습 후 31.68%에 도달했고, QeRL은 96시간을 쓰고도 1.84점 낮은 결과에 그쳤습니다. 2비트 가중치까지 압축하면 Qwen3-8B는 42.97로 떨어졌지만 여전히 시험한 다른 방법들보다 앞섰습니다.
저희 Gemma 4 리뷰를 읽은 독자에게 이는 12B 모델을 도구 호출 작업용으 로 소비자용 GPU 한 장에서 실용적으로 만들 수 있는 종류의 결과입니다. 양자화 연구 대부분은 여전히 퍼플렉시티나 짧은 답변의 정확도를 보고하는데, 이는 에이전트가 12단계 작업을 끝낼 수 있는지에 대해 거의 알려 주지 않습니다. 에이전트 벤치마크의 성공률로 측정하는 편이 더 정직한 기준이며, 저자들은 GitHub 저장소와 프로젝트 페이지 링크를 제공합니다.
한계도 분명합니다. 이 논문은 프리프린트이며 동료 평가를 거치지 않았습니다. 모든 모델이 양자화 전에 과제별 사후 학습을 받았으므로, 수치는 이 벤치마크에 맞춰 조정된 에이전트에 대한 것이지 범용 채팅 모델을 그대로 압축한 경우가 아닙니다. 코치 단계는 전체 정밀도 모델이 성공하는 과제에서만 작동하므로, 그 모델 자신도 풀지 못하는 실패는 그대로 남습니다. QeRL과 다른 비교 방법 하나는 NVIDIA의 NVFP4 형식용으로 만들어져 정수 양자화에 맞게 조정해야 했고, 이 때문에 불리했을 수 있습니다. 2점의 개선은 유용하지만 크지 않으며, 다른 모델 계열에서의 독립적인 재현이 그 효과가 어디까지 통하는지 보여 줄 것입니다.