Routage de LLM
Le routage de LLM (LLM routing) consiste à envoyer chaque requête au modèle de langage le plus adapté, souvent un modèle bon marché pour les prompts simples et un modèle plus puissant pour les prompts difficiles, afin d'équilibrer coût, vitesse et qualité.
Aussi appelé : model routing, router
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
La plupart des applications n'ont pas besoin de leur modèle le plus performant pour chaque requête. Une salutation, une recherche rapide ou une tâche de mise en forme peuvent aller à un petit modèle rapide, tandis qu'une tâche de code ou de raisonnement délicate va à un modèle plus grand. Un routeur fait ce choix requête par requête, pour que la facture reflète la répartition réelle du travail.
Comment ça marche
Un routeur peut être un ensemble de règles (tout ce qui contient du code va au modèle A, tout ce qui dépasse une certaine longueur au modèle B), un classifieur entraîné sur des résultats passés, ou un petit modèle qui lit le prompt et choisit une destination. L'article RouteLLM a entraîné des routeurs sur des données de préférences humaines pour choisir entre un modèle plus fort et un modèle plus faible, et rapporte une baisse des coûts de plus de moitié dans certains cas, sans perte de qualité des réponses. Un modèle de décision qui renvoie un choix typé est une autre façon de construire l'étape de sélection.
Le routage se trouve généralement dans une passerelle LLM ou un service comme OpenRouter, ou dans un routeur open source comme vLLM Semantic Router. L'étape routage de LLM de la stack IA présente d'autres options.
Routage ou repli
Le routage choisit un modèle avant l'appel, en fonction de la requête. Un modèle de repli sert après l'échec ou l'expiration d'un appel. Beaucoup de systèmes font les deux.
Limites
Un routeur ajoute sa propre latence et peut juger à tort qu'un prompt difficile est simple, ce qui se traduit par de moins bonnes réponses plutôt que par une erreur. Testez-le sur votre propre trafic et journalisez le modèle qui a traité chaque requête.
Termes liés
- Passerelle LLM
- Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
- Modèle de décision
- Un modèle de décision (decision model) est un modèle conçu pour renvoyer une réponse typée, comme un choix dans une liste, une note selon une grille ou une probabilité oui/non, au lieu de générer du texte libre.
- Modèle de repli
- Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.
- Tarification au token
- La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
- Fournisseur d'inférence
- Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.