Teams, die ein einziges kleines Modell die Arbeit mehrerer Spezialisten tun lassen wollen, stehen vor einem bekannten Zielkonflikt zwischen zwei Methoden, und ein neuer Preprint versucht, das Beste aus beiden zu holen. Das ist wichtig für jeden, der Spezialmodelle in ein einziges billigeres faltet, ein verbreiteter Bedarf, sobald eine Firma mehrere feinabgestimmte Modelle hat und sie als eins bereitstellen will.
Die zwei bestehenden Ansätze ziehen in entgegengesetzte Richtungen. Multi-Teacher-On-Policy-Distillation trainiert einen Schüler an Ausgaben, die er selbst erzeugt, überwacht von mehreren Expertenmodellen, was flexibel, aber langsam ist. Task Arithmetic addiert die Modellparameter schlicht in festen Verhältnissen ganz ohne Training, was schnell, aber gedeckelt ist: Welche Mischgewichte man auch wählt, das Ergebnis kann nur ausdrücken, was der eingefrorene Schüler und die Experten zusammen schon enthalten. Das eine erkauft Qualität mit Zeit, das andere Tempo mit einer Decke.
Das Papier mit dem Titel P²-MOPD behandelt die gewichtete Mischung der Parameter von Schüler und Experten als ein einziges Netz, das sich selbst trainieren lässt. Es lernt dann sowohl die Mischgewichte als auch die eigenen Gewichte des Schülers unter demselben On-Policy-Distillation-Ziel. Der entscheidende Unterschied zur Task Arithmetic ist, dass der Schüler weiter trainiert, die Expertengewichte also als Starthilfe wirken, ein Parameter-Prior, und nicht als harte Grenze dessen, was das Modell lernen kann. Faktisch borgt es den Vorsprung des Modell-Mergings, ohne dessen Decke zu erben.
Die berichteten Zahlen sind ermutigend. Über vier Domänen, mit Modellen von 1,7 Milliarden und 4 Milliarden Parametern, stellte die Methode die Expertenleistung schneller und gleichmäßiger wieder her als die Standard-Multi-Teacher-Distillation und schlug deren finale durchschnittliche Wiederherstellung in der Hälfte der Trainingsschritte. Am Ende des Trainings erreichte der Schüler mit 1,7 Milliarden Parametern 94.7% durchschnittliche Wiederherstellung gegenüber 80.9% beim Standardansatz. Wenn das standhält, sind halbe Schritte für einen höheren Endwert eine echte Ersparnis für Teams, die Distillation wiederholt durchführen.
Die Vorbehalte sind die üblichen früher Forschung und sollten genannt werden. Dies ist ein nicht begutachteter arXiv-Preprint, die Behauptungen stützen sich also auf die eigenen Läufe der Autoren. Die Tests enden bei 4 Milliarden Parametern, was wenig darüber sagt, ob die Gewinne auf der Skala von zig oder hunderten Milliarden überleben, auf der die meisten Produktionsmodelle liegen, und das Papier nennt eine durchschnittliche Wiederherstellungszahl für das 1,7-Milliarden-Modell, aber nicht das Gegenstück für 4 Milliarden oder eine Aufschlüsselung je Domäne. Es ist eine sinnvolle Idee mit vielversprechenden frühen Ergebnissen, am besten als beobachtenswerte Methode zu behandeln und nicht als gesicherte Technik.