一つの小さなモデルに複数の専門家の仕事をさせたいチームは、二つの手法の間でおなじみの折り合いに直面します。新しいプレプリントは、その両方の良いところを取ろうとします。これは、複数の専門モデルを一つの安いモデルに畳み込む人にとって重要です。企業がいくつかの微調整済みモデルを持ち、それらを一つとして提供したくなれば、よくある必要になります。
既存の二つの手法は逆の方向に引き合います。複数教師のオンポリシー蒸留は、生徒が自ら生成した出力で、複数の専門家モデルの指導のもと生徒を訓練するもので、柔軟ですが遅いです。タスク算術は、訓練をいっさいせず、固定の比率でモデルのパラメータを足し合わせるだけで、速いものの頭打ちがあります。どんな混合の重みを選んでも、結果は、凍結された生徒と専門家が一緒に既に含むものしか表せません。一方は時間で質を買い、もう一方は天井つきで速さを買います。
P²-MOPDと題されたこの論文は、生徒と専門家のパラメータの重み付き混合を、それ自体訓練できる一つのネットワークとして扱います。そして同じオンポリシー蒸留の目的のもとで、混合の重みと生徒自身の重みの両方を学習します。タスク算術との重要な違いは、生徒が訓練を続けることです。専門家の重みは、モデルが学べることの固い境界ではなく、出発点の手引き、すなわちパラメータの事前分布として働きます。実質的に、モデル統合の先行の利を、その天井を受け継がずに借りるのです。
報告された数字は 心強いものです。四つの領域で、17億と40億パラメータのモデルを用いて、この手法は標準の複数教師蒸留より速く、より均等に専門家の性能を回復し、その手法の最終的な平均回復を、訓練ステップの半分で上回りました。訓練の終わりに、17億パラメータの生徒は平均回復94.7%に達し、標準の手法の80.9%を上回りました。これが保たれるなら、より高い最終スコアに半分のステップで届くのは、蒸留を繰り返し行うチームにとって本当の節約です。
注意点は初期の研究によくあるもので、述べておく価値があります。これは査読を経ていないarXivのプレプリントであり、主張は著者自身の実行に依っています。試験は40億パラメータで止まっており、ほとんどの本番モデルがある数百億から数千億の規模で利得が生き残るかについてはほとんど語りません。論文は17億のモデルの平均回復の数字は示しますが、40億の相当する数字も、領域ごとの内訳も示しません。筋のよい発想で初期の結果は有望ですが、確立した技法ではなく、注視すべき手法として扱うのが最善です。