Ein Modell auf 4-Bit-Gewichte zu verkleinern ist der übliche Weg, einen Agenten auf einer günstigeren GPU zu betreiben, und der übliche Preis ist, dass der Agent bei langen, mehrstufigen Aufgaben schlechter wird. SteerDistill, ein Preprint des Institute for AI Industry Research der Tsinghua University, geht diesen Verlust direkt an. Das ist für alle relevant, die Agenten auf bescheidener Hardware betreiben, denn die Methode zielt auf die Schritte, an denen komprimierte Modelle tatsächlich scheitern, nicht auf die allgemeine Textqualität.
Die Idee: Das Modell in voller Präzision dient als Coach. Scheitert der 4-Bit-Schüler an einem Schritt, schlägt das Originalmodell eine Korrektur vor, der Schüler probiert sie in der Umgebung aus, und der Coach passt seinen Rat an das Ergebnis an. Die Korrekturen, die funktionieren, werden anschließend in den Schüler trainiert. Er lernt, in diesen Schritten sein eigenes gecoachtes Verhalten nachzuahmen und überall sonst das Originalmodell. Im Betrieb arbeitet der Schüler allein. Die Gewichte liegen als 4-Bit-Ganzzahlen in Gruppen von 64, die Aktivierungen bleiben bei 16 Bit, eine Einstellung namens W4A16.
Die Autoren testeten drei Modelle, Qwen3-8B, Qwen3.5-4B und Gemma 4 12B-it, auf fünf Agenten-Benchmarks: BFCL V4, τ²-Bench, WebShop, ALFWorld und einem Such-QA-Set aus sieben Datensätzen. Im Durchschnitt erreichte Gemma 4 12B-it 64.31 gegenüber 65.13 in voller Präzision, Qwen3-8B 53.18 gegenüber 53.54. Stärkster Konkurrent war jeweils QeRL, eine Reinforcement-Learning-Methode, die rund zwei Punkte zurücklag. Auf τ²-Bench mit Qwen3-8B kam SteerDistill nach 32 GPU-Stunden auf A100 auf 31.68%, während QeRL 96 Stunden brauchte und 1.84 Punkte darunter blieb. Mit 2-Bit-Gewichten fiel Qwen3-8B auf 42.97, lag aber weiter vor den anderen getesteten Methoden.
Wer unseren Test von Gemma 4 gelesen hat, erkennt hier die Art Ergebnis, die ein 12B-Modell für Tool-Calling auf einer einzelnen Consumer-Karte praktikabel machen könnte. Die meiste Quantisierungsforschung misst weiterhin Perplexität oder Genauigkeit bei kurzen Antworten, was wenig darüber aussagt, ob ein Agent eine Aufgabe mit zwölf Schritten zu Ende bringt. Erfolg auf Agenten-Benchmarks zu messen ist der ehrlichere Maßstab, und die Autoren verlinken ein GitHub-Repository und eine Projektseite.
Die Grenzen sind real. Es handelt sich um ein Preprint ohne Peer Review. Jedes Modell erhielt vor der Quantisierung ein aufgabenspezifisches Post-Training, die Zahlen beschreiben also auf diese Benchmarks abgestimmte Agenten, nicht allgemeine Chatmodelle, die direkt komprimiert wurden. Das Coaching funktioniert nur bei Aufgaben, die das Modell in voller Präzision selbst löst, Fehler, die es selbst nicht beheben kann, bleiben unverändert. QeRL und eine weitere Vergleichsmethode wurden für NVIDIAs NVFP4-Format entwickelt und mussten an Ganzzahl-Quantisierung angepasst werden, was sie benachteiligt haben könnte. Zwei Punkte Vorsprung sind nützlich, aber bescheiden, und eine unabhängige Replikation mit anderen Modellfamilien würde klären, wie weit sie tragen.