여러 언어 모델을 쓰는 서비스는 매일 조용한 선택을 해야 합니다. 이 요청에는 어떤 모델이 답해야 할까요? 모든 요청을 가장 비싼 모델로 보내면 쉬운 질문에 돈을 낭비하고, 가장 싼 모델로 보내면 어려운 질문에서 품질이 떨어집니다. 라우터는 이를 프롬프트마다 결정하려는 장치입니다. ACM Web Conference 2027용으로 작성된 이탈리아 국가연구위원회와 피사 대학교의 프리프린트는 여기에 한 가지를 더합니다. 때로는 여러 모델에게 동시에 묻는 것이 가장 좋은 답이라는 것입니다.
PISA는 단일 모델 버전입니다. 프롬프트를 비슷한 요청들의 묶음에 유연하게 배치하고, 이를 모델마다 학습시킨 예측기와 결합해 해당 프롬프트에 대한 각 모델의 능력을 추정합니다. PISA-E는 이를 앙상블로 넓혀 어떤 모델을 몇 개 부를지 고르고, 각 모델의 추정 능력에 따라 비슷한 답변에 가중치를 줘 답을 합칩니다. 실용적으로 가장 중요한 특징은 재학습 없이 추론 시점에 조절할 수 있는 비용·품질 조절기입니다. 같은 시스템으로 혼잡 시간에는 더 싼 답을, 프리미엄 사용자에게는 더 좋은 답을 우선할 수 있습니다.
팀은 LLMRouterBench Track-2, RouterBench, FusionBench, SPROUT 등 네 가지 공개 라우팅 벤치마크에서, 익숙한 과제 묶음과 따로 떼어 둔 과제 묶음 모두로 시험했습니다. 단일 모델 라우터 중에서 PISA는 두 조건 모두에서 비용과 성능의 평균 균형이 가장 좋았고, 여덟 가지 조합 중 여섯에서 1위였습니다. 품질 우선으로 설정한 PISA-E는 가장 강한 앙상블 방식을 익숙한 과제에서 2.09퍼센트포인트, 낯선 과제에서 2.87퍼센트포인트 앞섰습니다. 더 저렴한 설정에서도 이들과 같거나 더 나은 성능을 내면서 평균 비용을 약 36%와 25% 줄였습니다.
이미 OpenRouter 같은 게이트웨이로 계정 하나에서 여러 모델을 쓰는 팀에 게, 이는 그 위에 얹을 수 있는 논리입니다. 창구는 하나이고 요청마다 시스템이 모델을 고릅니다. 저희 OpenRouter 리뷰는 그 강점이 모델과 공급자의 폭이라고 짚었습니다. 프롬프트마다 어떤 모델을 쓸지는 대부분 사용자에게 맡겨져 있고, PISA가 노리는 것이 바로 그 빈틈입니다.
개선 폭은 크지 않고 시험은 오프라인으로 이뤄졌습니다. 모든 방법은 벤치마크가 제공한 모델 답변으로 채점됐을 뿐, 프롬프트가 바뀌고 가격이 변하며 지연 시간이 비용만큼 중요한 실제 트래픽에서는 시험되지 않았습니다. 앙상블은 호출 수도 늘리므로, 절약 여부는 라우터가 단일 모델을 얼마나 자주 고르느냐에 달려 있습니다. 저희가 읽은 부분에서는 라우터 자체의 부담에 대한 수치가 없으며, 실제 서비스에 쓰려는 사람은 바꾸기 전에 그 수치를 확인하고 싶을 것입니다.