하나의 작은 모델에 여러 전문가의 일을 시키려는 팀은 두 방법 사이의 익숙한 절충에 맞닥뜨리며, 새 프리프린트는 둘의 장 점을 모두 취하려 합니다. 이는 여러 전문 모델을 하나의 더 싼 모델로 접어 넣는 사람에게 중요합니다. 기업이 미세조정된 모델을 여럿 가지고 그것들을 하나로 제공하고 싶어지면 흔한 필요가 됩니다.
기존의 두 접근은 반대 방향으로 당깁니다. 다교사 온폴리시 증류는 학생이 스스로 생성한 출력으로, 여러 전문가 모델의 지도 아래 학생을 훈련하는 것으로, 유연하지만 느립니다. 작업 산술은 훈련 없이 고정된 비율로 모델 파라미터를 더하기만 하는 것으로, 빠르지만 천장이 있습니다. 어떤 혼합 가중치를 고르든, 결과는 얼어 있는 학생과 전문가가 함께 이미 담고 있는 것만 표현할 수 있습니다. 하나는 시간으로 품질을 사고, 다른 하나는 천장과 함께 속도를 삽니다.
P²-MOPD라는 제목의 이 논문은 학생과 전문가 파라미터의 가중 혼합을, 그 자체로 훈련할 수 있는 하나의 네트워크로 다룹니다. 그런 다음 같은 온폴리시 증류 목표 아래 혼합 가중치와 학생 자신의 가중치를 모두 학습합니다. 작업 산술과의 핵심 차이는 학생이 계속 훈련한다는 것으로, 전문가 가중치는 모델이 배울 수 있는 것의 단단한 경계가 아니라 출발점의 안내, 즉 파라미터 사전으로 작동합니다. 사실상 모델 병합의 선행 이점을 그 천장을 물려받지 않고 빌리는 것입니다.
보고된 숫자는 고무적입니다. 네 영역에서 17억과 40억 파라미터 모델로, 이 방법은 표준 다교사 증류보다 더 빠르고 더 고르게 전문가 성능을 회복했고, 그 방법의 최종 평균 회복을 훈련 단계의 절반에서 앞섰습니다. 훈련이 끝날 때 17억 파라미터 학생은 평균 회복 94.7%에 이르러 표준 접근의 80.9%를 앞질렀습니다. 그것이 유지된다면, 더 높은 최종 점수에 절반의 단계로 도달하는 것은 증류를 반복해 돌리는 팀에게 실질적인 절약입니다.
단서는 초기 연구에 흔한 것들이며, 말해 둘 가치가 있습니다. 이것은 동료 심사를 거치지 않은 arXiv 프리프린트이므로, 주장은 저자 자신의 실행에 기댑니다. 시험은 40억 파라미터에서 멈추는데, 이는 대부분의 운영 모델이 있는 수백억에서 수천억 규모에서 이득이 살아남는지에 대해 거의 말해 주지 않으며, 논문은 17억 모델의 평균 회복 수치는 밝히지만 40억의 상응하는 수치도, 영역별 분해도 밝히지 않습니다. 합리적인 발상에 초기 결과가 유망하지만, 자리 잡은 기법이 아니라 지켜볼 방법으로 다루는 것이 가장 좋습니다.