Tout service qui utilise plusieurs modèles de langage fait face chaque jour à un choix discret : quel modèle doit répondre à cette requête ? Tout envoyer au modèle le plus cher gaspille de l'argent sur les questions faciles ; tout envoyer au moins cher dégrade la qualité sur les difficiles. Les routeurs tentent de décider prompt par prompt. Un preprint du Conseil national de la recherche italien et de l'université de Pise, préparé pour l'ACM Web Conference 2027, ajoute une variante : parfois, la meilleure réponse consiste à interroger plusieurs modèles à la fois.
PISA est la version à modèle unique. Il estime la compétence de chaque modèle pour un prompt donné en situant ce prompt de façon souple parmi des groupes de requêtes similaires et en combinant cela avec un prédicteur entraîné pour chaque modèle. PISA-E étend l'approche aux ensembles : il choisit quels modèles appeler et combien, puis combine leurs réponses en pondérant les réponses proches selon la compétence estimée de chaque modèle. Sa principale qualité pratique est un curseur coût-qualité réglable au moment de l'inférence sans réentraînement, si bien qu'un opérateur peut, avec le même système, privilégier des réponses moins chères aux heures de pointe ou meilleures pour des clients premium.
L'équipe a testé l'approche sur quatre benchmarks publics de routage, LLMRouterBench Track-2, RouterBench, FusionBench et SPROUT, avec des groupes de tâches connus et d'autres mis de côté. Parmi les routeurs à modèle unique, PISA obtient le meilleur équilibre moyen entre coût et performance dans les deux cas et se classe premier dans six des huit combinaisons. Réglé pour la qualité, PISA-E dépasse les meilleures méthodes d'ensemble de 2,09 points de pourcentage sur les tâches connues et de 2,87 sur les inconnues. À des réglages moins coûteux, il les égale ou les dépasse encore en réduisant le coût moyen d'environ 36% et 25%.
Pour les équipes qui passent déjà par une passerelle comme OpenRouter pour accéder à de nombreux modèles avec un seul compte, c'est la logique qui pourrait s'y ajouter : un seul point d'accès, le système choisissant à chaque requête. Notre test d'OpenRouter souligne que sa force est l'étendue des modèles et fournisseurs ; choisir lequel utiliser pour chaque prompt vous revient en grande partie, et c'est ce vide que vise PISA.
Les gains sont modestes et les tests hors ligne. Toutes les méthodes ont été évaluées sur des réponses de modèles fournies par les benchmarks, pas sur du trafic réel, où les prompts évoluent, les prix changent et la latence compte autant que le coût. Les ensembles multiplient aussi les appels, si bien que l'économie dépend de la fréquence à laquelle le routeur choisit un seul modèle. Dans les sections que nous avons lues, l'article ne chiffre pas le coût propre du routeur, et ceux qui l'utiliseraient en production voudront le connaître avant de changer.