Los equipos que quieren que un solo modelo pequeño haga el trabajo de varios especialistas se enfrentan a un conocido dilema entre dos métodos, y un nuevo preprint intenta quedarse con lo mejor de ambos. Importa a quien funde modelos especializados en uno solo más barato, una necesidad común cuando una empresa tiene varios modelos ajustados y quiere servirlos como uno.
Los dos enfoques existentes tiran en direcciones opuestas. La destilación on-policy con varios profesores entrena a un estudiante con salidas que él mismo genera, supervisadas por varios modelos expertos, lo que es flexible pero lento. La aritmética de tareas simplemente suma los parámetros de los modelos en proporciones fijas sin entrenamiento alguno, lo que es rápido pero tiene techo: con cualquier peso de mezcla que elijas, el resultado solo puede expresar lo que el estudiante y los expertos congelados ya contienen juntos. Uno compra calidad con tiempo, el otro compra velocidad con un límite.
El artículo, titulado P²-MOPD, trata la mezcla ponderada de los parámetros del estudiante y de los expertos como una única red que a su vez se puede entrenar. Luego aprende tanto los pesos de mezcla como los propios pesos del estudiante bajo el mismo objetivo de destilación on-policy. La diferencia clave con la aritmética de tareas es que el estudiante sigue entrenándose, así que los pesos de los expertos actúan como una guía de partida, un prior de parámetros, y no como un límite rígido de lo que el modelo puede aprender. En la práctica toma la ventaja inicial de la fusión de modelos sin heredar su techo.
Las cifras comunicadas son alentadoras. En cuatro dominios, con modelos de 1.7 mil millones y 4 mil millones de parámetros, el método recuperó el rendimiento experto más rápido y de forma más uniforme que la destilación estándar con varios profesores, superando la recuperación media final de ese método en la mitad de los pasos de entrenamiento. Al final del entrenamiento, el estudiante de 1.7 mil millones de parámetros alcanzó un 94.7% de recuperación media frente al 80.9% del enfoque estándar. Si eso se sostiene, la mitad de los pasos para una puntuación final más alta es un ahorro real para equipos que ejecutan destilación de forma repetida.
Las salvedades son las habituales de la investigación temprana, y conviene decirlas. Es un preprint de arXiv que no ha sido revisado por pares, así que las afirmaciones se apoyan en las propias ejecuciones de los autores. Las pruebas se detienen en 4 mil millones de parámetros, lo que dice poco sobre si las mejoras sobreviven en la escala de decenas o centenas de miles de millones donde están la mayoría de los modelos de producción, y el artículo informa de una cifra de recuperación media para el modelo de 1.7 mil millones pero no la equivalente para 4 mil millones ni un desglose por dominio. Es una idea sensata con resultados tempranos prometedores, que conviene tratar como un método a vigilar y no como una técnica asentada.