Les équipes qui veulent qu'un seul petit modèle fasse le travail de plusieurs spécialistes affrontent un compromis familier entre deux méthodes, et un nouveau preprint tente de tirer le meilleur des deux. Cela compte pour quiconque fond des modèles spécialisés en un seul moins cher, un besoin courant dès qu'une entreprise a plusieurs modèles ajustés et veut les servir comme un seul.
Les deux approches existantes tirent dans des directions opposées. La distillation on-policy à plusieurs enseignants entraîne un élève sur des sorties qu'il génère lui-même, supervisées par plusieurs modèles experts, ce qui est souple mais lent. L'arithmétique de tâches additionne simplement les paramètres des modèles dans des proportions fixes sans aucun entraînement, ce qui est rapide mais plafonné : quels que soient les poids de mélange choisis, le résultat ne peut exprimer que ce que l'élève et les experts gelés contiennent déjà ensemble. L'une achète la qualité avec du temps, l'autre la vitesse avec un plafond.
L'article, intitulé P²-MOPD, traite le mélange pondéré des paramètres de l'élève et des experts comme un réseau unique qui peut lui-même être entraîné. Il apprend alors à la fois les poids de mélange et les propres poids de l'élève sous le même objectif de distillation on-policy. La différence clé avec l'arithmétique de tâches est que l'élève continue de s'entraîner, de sorte que les poids des experts agissent comme un guide de départ, un prior de paramètres, et non comme une frontière rigide de ce que le modèle peut apprendre. En pratique, il emprunte l'avance de la fusion de modèles sans hériter de son plafond.
Les chiffres rapportés sont encourageants. Sur quatre domaines, avec des modèles de 1,7 milliard et 4 milliards de paramètres, la méthode a récupéré la performance experte plus vite et plus uniformément que la distillation standard à plusieurs enseignants, battant la récupération moyenne finale de cette méthode en la moitié des étapes d'entraînement. En fin d'entraînement, l'élève de 1,7 milliard de paramètres a atteint 94.7% de récupération moyenne contre 80.9% pour l'approche standard. Si cela tient, la moitié des étapes pour un score final plus élevé est une vraie économie pour les équipes qui font de la distillation à répétition.
Les réserves sont celles habituelles de la recherche précoce, et méritent d'être dites. C'est un preprint arXiv non évalué par des pairs, les affirmations reposent donc sur les propres essais des auteurs. Les tests s'arrêtent à 4 milliards de paramètres, ce qui dit peu sur la survie des gains à l'échelle des dizaines ou centaines de milliards où se trouvent la plupart des modèles de production, et l'article rapporte un chiffre de récupération moyenne pour le modèle de 1,7 milliard mais pas l'équivalent pour 4 milliards ni une ventilation par domaine. C'est une idée sensée aux premiers résultats prometteurs, à traiter comme une méthode à surveiller plutôt que comme une technique établie.