Todo serviço que usa vários modelos de linguagem enfrenta uma escolha discreta todos os dias: qual modelo deve responder a este pedido? Mandar tudo para o modelo mais caro desperdiça dinheiro em perguntas fáceis; mandar tudo para o mais barato prejudica a qualidade nas difíceis. Roteadores tentam decidir prompt a prompt. Um preprint do Conselho Nacional de Pesquisa da Itália e da Universidade de Pisa, preparado para a ACM Web Conference 2027, acrescenta uma virada: às vezes a melhor resposta é perguntar a vários modelos ao mesmo tempo.
O PISA é a versão de modelo único. Ele estima a capacidade de cada modelo para um prompt específico distribuindo o prompt de forma suave entre grupos de pedidos parecidos e combinando isso com um preditor treinado para cada modelo. O PISA-E estende a ideia para conjuntos, escolhendo quais modelos chamar e quantos, e depois combina as respostas ponderando as parecidas pela capacidade estimada de cada modelo. A principal característica prática é um botão de custo e qualidade que pode ser ajustado na hora da inferência sem novo treinamento, de modo que um operador pode, com o mesmo sistema, priorizar respostas mais baratas no pico de uso ou melhores para clientes premium.
A equipe testou em quatro benchmarks públicos de roteamento, LLMRouterBench Track-2, RouterBench, FusionBench e SPROUT, tanto com grupos de tarefas conhecidos quanto com grupos reservados. Entre os roteadores de modelo único, o PISA teve o melhor equilíbrio médio entre custo e desempenho nos dois casos e ficou em primeiro em seis das oito combinações. Ajustado para qualidade, o PISA-E superou os melhores métodos de conjunto em 2,09 pontos percentuais em tarefas conhecidas e em 2,87 nas desconhecidas. Em ajustes mais baratos, ainda os igualou ou superou, cortando o custo médio em cerca de 36% e 25%.
Para equipes que já usam um gateway como o OpenRouter para chegar a muitos modelos com uma única conta, essa é a lógica que poderia ficar por cima: um endpoint só, com o sistema escolhendo a cada pedido. Nossa análise do OpenRouter registra que a força dele é a variedade de modelos e provedores; decidir qual usar em cada prompt fica em grande parte com você, e é essa lacuna que o PISA mira.
Os ganhos são modestos e os testes foram offline. Todos os métodos foram avaliados com respostas de modelos fornecidas pelos benchmarks, não com tráfego real, em que os prompts mudam, os preços variam e a latência importa tanto quanto o custo. Conjuntos também multiplicam as chamadas, então a economia depende de com que frequência o roteador escolhe um único modelo. Nas seções que lemos, o artigo não traz números sobre o custo do próprio roteador, e quem pensa em produção vai querer vê-los antes de mudar.