Jeder Dienst, der mehrere Sprachmodelle nutzt, steht täglich vor einer unauffälligen Wahl: Welches Modell soll diese Anfrage beantworten? Schickt man alles an das teuerste Modell, verschwendet man Geld für leichte Fragen; schickt man alles an das billigste, leidet die Qualität bei schweren. Router versuchen, das pro Prompt zu entscheiden. Ein Preprint des italienischen Nationalen Forschungsrats und der Universität Pisa, verfasst für die ACM Web Conference 2027, fügt eine Wendung hinzu: Manchmal ist die beste Antwort, mehrere Modelle zugleich zu fragen.
PISA ist die Variante mit einem Modell. Es schätzt, wie fähig jedes Modell für einen bestimmten Prompt ist, indem es den Prompt weich auf Gruppen ähnlicher Anfragen verteilt und das mit einem für jedes Modell trainierten Prädiktor kombiniert. PISA-E erweitert das auf Ensembles: Es wählt, welche und wie viele Modelle aufgerufen werden, und kombiniert ihre Antworten, indem es ähnliche Antworten nach der geschätzten Fähigkeit jedes Modells gewichtet. Die wichtigste praktische Eigenschaft ist ein Regler für Kosten und Qualität, der sich zur Laufzeit ohne neues Training verstellen lässt, sodass ein Betreiber mit demselben System in Spitzenzeiten günstigere Antworten oder für Premiumkunden bessere bevorzugen kann.
Das Team testete auf vier öffentlichen Routing-Benchmarks, LLMRouterBench Track-2, RouterBench, FusionBench und SPROUT, sowohl mit bekannten als auch mit zurückgehaltenen Aufgabengruppen. Unter den Routern mit einem Modell erreichte PISA in beiden Fällen die beste durchschnittliche Balance aus Kosten und Leistung und lag in sechs von acht Kombinationen vorn. Auf Qualität eingestellt, übertraf PISA-E die stärksten Ensemble-Verfahren um 2,09 Prozentpunkte bei bekannten und um 2,87 bei unbekannten Aufgaben. In günstigeren Einstellungen hielt es mit ihnen mit oder schlug sie und senkte die durchschnittlichen Kosten um etwa 36% und 25%.
Für Teams, die bereits ein Gateway wie OpenRouter nutzen, um über ein Konto viele Modelle zu erreichen, ist das die Logik, die darauf sitzen könnte: ein Endpunkt, bei dem das System pro Anfrage auswählt. Unser OpenRouter-Test hält fest, dass dessen Stärke die Breite an Modellen und Anbietern ist; welches Modell man für welchen Prompt nutzt, bleibt weitgehend einem selbst überlassen, und genau diese Lücke zielt PISA an.
Die Gewinne sind bescheiden, und die Tests liefen offline. Alle Verfahren wurden mit Modellantworten bewertet, die die Benchmarks mitliefern, nicht mit echtem Verkehr, bei dem sich Prompts verschieben, Preise ändern und Latenz so wichtig ist wie Kosten. Ensembles vervielfachen zudem die Aufrufe, die Ersparnis hängt also davon ab, wie oft der Router nur ein Modell wählt. In den Abschnitten, die wir gelesen haben, nennt das Paper keine Zahlen zum Eigenaufwand des Routers, und wer es produktiv einsetzen will, wird sie vor einem Wechsel sehen wollen.