Equipes que querem que um único modelo pequeno faça o trabalho de vários especialistas enfrentam um dilema conhecido entre dois métodos, e um novo preprint tenta tirar o melhor dos dois. Isso importa para quem funde modelos especializados em um só mais barato, uma necessidade comum quando uma empresa tem vários modelos ajustados e quer servi-los como um.
As duas abordagens existentes puxam em direções opostas. A destilação on-policy com vários professores treina um aluno em saídas que ele mesmo gera, supervisionadas por vários modelos especialistas, o que é flexível mas lento. A aritmética de tarefas simplesmente soma os parâmetros dos modelos em proporções fixas sem treino nenhum, o que é rápido mas tem teto: quaisquer que sejam os pesos de mistura escolhidos, o resultado só pode expressar o que o aluno e os especialistas congelados já contêm juntos. Uma compra qualidade com tempo, a outra compra velocidade com um limite.
O artigo, intitulado P²-MOPD, trata a mistura ponderada dos parâmetros do aluno e dos especialistas como uma única rede que pode ela própria ser treinada. Ele então aprende tanto os pesos de mistura quanto os próprios pesos do aluno sob o mesmo objetivo de destilação on-policy. A diferença-chave para a aritmética de tarefas é que o aluno continua treinando, então os pesos dos especialistas agem como um guia de partida, um prior de parâmetros, e não como uma fronteira rígida do que o modelo pode aprender. Na prática, ele toma a vantagem inicial da fusão de modelos sem herdar o seu teto.
Os números relatados são animadores. Em quatro domínios, com modelos de 1,7 bilhão e 4 bilhões de parâmetros, o método recuperou o desempenho especialista mais rápido e de forma mais uniforme que a destilação padrão com vários professores, batendo a recuperação média final desse método na metade dos passos de treino. No fim do treino, o aluno de 1,7 bilhão de parâmetros atingiu 94.7% de recuperação média contra 80.9% da abordagem padrão. Se isso se mantiver, a metade dos passos para uma pontuação final maior é uma economia real para equipes que rodam destilação repetidamente.
As ressalvas são as de sempre na pesquisa inicial, e vale dizê-las. É um preprint do arXiv que não passou por revisão por pares, então as alegações se apoiam nas próprias execuções dos autores. Os testes param em 4 bilhões de parâmetros, o que diz pouco sobre se os ganhos sobrevivem na escala de dezenas ou centenas de bilhões onde está a maioria dos modelos de produção, e o artigo informa uma cifra de recuperação média para o modelo de 1,7 bilhão mas não a equivalente para 4 bilhões nem um detalhamento por domínio. É uma ideia sensata com primeiros resultados promissores, mais bem tratada como um método a observar do que como uma técnica assentada.