モデルを4ビットの重みに圧縮するのは、エージェントを安価なGPUで動かすための一般的な方法ですが、その代償として長い多段階の作業でエージェントの性能が落ちるのが普通です。清華大学のInstitute for AI Industry Researchによるプレプリント、SteerDistillはこの劣化に正面から取り組みます。一般的な文章の質ではなく、圧縮モデルが実際につまずくステップを狙う手法なので、控えめなハードウェアでエージェントを提供する人に関係があります。
考え方は、フル精度のモデルにコーチ役をさせることです。4ビットの生徒モデルがあるターンで失敗すると、元のモデルが修正案を出し、生徒がそれを環境で試し、コーチはその結果をもとに助言を調整します。うまくいった修正はその後生徒に学習させます。生徒はそのターンではコーチを受けた自分自身の振る舞いを、それ以外では元のモデルを模倣するよう学びます。実行時には生徒が単独で動きます。重みは64個ずつのグループで4ビット整数として保存され、活性化は16ビットのまま残ります。これはW4A16と呼ばれる設定です。
著者らはQwen3-8B、Qwen3.5-4B、Gemma 4 12B-itの3モデルを、BFCL V4、τ²-Bench、WebShop、ALFWorld、そして7つのデータセットから構成した検索型質問応答セットという5つのエージェント・ベンチマークで評価しました。平均では、Gemma 4 12B-itがフル精度の65.13に対して64.31、Qwen3-8Bが53.54に対して53.18でした。いずれの場合も最も強い競合は強化学習の手法であるQeRLで、約2ポイント下回りました。Qwen3-8Bを使ったτ²-Benchでは、SteerDistillがA100で32 GPU時間の学習後に31.68%に達したのに対し、QeRLは96時間かけて1.84ポイント低い結果にとどまりました。2ビットの重みにまで圧縮すると、Qwen3-8Bは42.97に下がりましたが、それでも他の手法を上回りました。
当サイトのGemma 4のレビューを読んだ方にとって、これは12Bモデルをツール呼び出しの作業向けに一般向けGPU 1枚で実用的にしうる種類の結果です。量子化研究の多くは今もパープレキシティや短い回答の正確さを報告しており、エージェントが12ステップの作業をやり遂げられるかについてはほとんど分かりません。エージェント・ベンチマークでの成功率で測るほうが誠実な物差しです。著者らはGitHubリポジトリとプロジェクトページへのリンクを示しています。
限界もはっきりしています。これはプレプリントで、査読を経ていません。どのモデルも量子化の前にタスク固有の事後学習を受けているため、数値はこれらのベンチマークに合わせて調整されたエージェントのものであり、汎用のチャットモデルをそのまま圧縮した場合のものではありません。コーチによる修正はフル精度のモデル自身が成功できるタスクでしか機能せず、自分で解けない失敗はそのまま残ります。QeRLともう1つの比較手法はNVIDIAのNVFP4形式向けに作られており、整数量子化に合わせて調整する必要があったため、不利になった可能性があります。2ポイントの改善は有用ですが控えめで、他のモデル系列での独立した再現によって、その効果がどこまで通用するかが見えてくるでしょう。