Qu’est-ce que vLLM Semantic Router ?
vLLM Semantic Router se place devant un pool de modèles et décide lequel devrait répondre à chaque requête. Les applications appellent un seul nom de modèle virtuel, comme vllm-sr/auto ; le routeur extrait des signaux de la requête (sujet, modalité, sécurité, données personnelles, préférences utilisateur), applique des règles que vous écrivez et envoie l'appel à un backend qui lui convient sur la qualité, le coût, la latence ou la localisation.
Il est écrit en Go, sous licence Apache 2.0 et fait partie du projet vLLM. La version 0.4, nommée Hermes, a été annoncée le 24 septembre 2026 avec 982 commits de 130 contributeurs depuis la version précédente. Le projet entraîne aussi ses propres petits modèles de classifieur (Vela) pour les vérifications de domaine, de jailbreak, de données personnelles et d'hallucination, et des modèles de décision plus grands, revus séparément sous le nom d3.
Les backends peuvent être vLLM, SGLang ou toute API compatible OpenAI, y compris les modèles fermés d'OpenAI et Anthropic.
vLLM Semantic Router vaut-il le coup ?
Le routage sémantique est la bonne idée pour un ensemble étroit d'équipes, et c'est la plus solide implémentation ouverte de celui-ci. Si l'essentiel de votre trafic est simple et qu'un petit modèle ouvert peut y répondre, n'envoyer que les requêtes difficiles à un modèle de pointe coûteux économise de l'argent. Le routeur prend cette décision par requête et peut garder les données privées sur vos propres GPU pendant que d'autres appels vont au cloud.
Le projet bouge vite. Il a atteint v0.1 en janvier 2026 et v0.4 en septembre, et la branche main change quotidiennement. Le coût est le turnover : les notes de version décrivent de nouveaux signaux, plugins et fonctions expérimentales (Fusion, Workflows) à chaque version, et les modèles de décision que le projet promeut ne sont pas encore câblés dans le routeur lui-même, de son propre aveu. Ses chiffres de benchmark viennent des propres évaluations du projet, et 490 issues sont ouvertes.
La surface opérationnelle est plus grande que celle d'une passerelle. Une installation locale fait tourner le routeur, un tableau de bord sur le port 8700, une API compatible OpenAI sur 8899 et des services de support sous Docker, et le guide de durcissement demande aux opérateurs d'authentifier les écouteurs d'inférence et de gestion et de lier les ports internes en privé. Le 18 octobre 2026, le projet a publié un avis de forte sévérité : sous Istio, un en-tête client pouvait contourner le routeur entièrement à cause d'un nom de filtre réutilisé.
La plupart des équipes n'en ont pas besoin. Une règle statique, comme un modèle pour le chat et un autre pour le code, ou la liste de secours d'une passerelle, couvre le cas commun avec bien moins de machinerie. Router par sens ne paie que quand le trafic est assez grand et varié pour que les choix par requête changent la facture, et quand les évaluations confirment que les routes moins chères ne baissent pas la qualité. RouteLLM, le routeur de recherche LMSYS souvent cité pour la même idée, n'a pas eu de commit depuis août 2024, ce qui laisse ce projet avec peu de concurrence ouverte.
Là où il fait la différence
Une équipe plateforme qui sert 10 millions de requêtes par mois sur une flotte vLLM et une API de pointe
Envoyer les prompts faciles à un modèle ouvert interne et seulement les difficiles à l'API payante
Les applications appellent vllm-sr/auto et les règles routent par domaine et difficulté. Les économies dépendent de la part de trafic qu'un petit modèle peut prendre, ce qui a besoin d'un ensemble d'évaluation pour le prouver avant de basculer.
Un responsable informatique de santé avec des données patient dans les prompts
Garder les requêtes porteuses de données personnelles sur site pendant que d'autres appels utilisent des modèles cloud
Le classifieur de données personnelles signale les requêtes et les règles de routage les épinglent aux backends vLLM locaux. Le routeur est gratuit ; le coût est de le faire tourner, les classifieurs et les GPU privés.
Un responsable d'ingénierie dans une entreprise de 40 développeurs qui utilise des agents de code
Donner aux agents un choix de modèle automatique comme le mode auto de Cursor
Pointez le harnais d'agent vers l'endpoint compatible OpenAI du routeur. Le guide OpenCode du projet montre le pattern ; attendez-vous à des changements de config entre versions.
Avant de vous engager
- Mise en route
- curl -fsSL https://vllm-sr.ai/install.sh | bash, ou pip install vllm-sr puis vllm-sr serve ; a besoin de Linux, macOS ou WSL2, Python 3.10+, et Docker ou Podman. Kubernetes tourne via un chart Helm ou un opérateur.
- Intégrations
- Backends sur vLLM, SGLang ou toute API compatible OpenAI, y compris OpenAI et Anthropic ; mode passerelle Envoy ext_proc ; Valkey pour la mémoire agentique ; un exemple NVIDIA Dynamo expérimental.
- Données et confidentialité
- Apache 2.0 sans service payant hébergé. Le routeur peut stocker le replay, le cache de réponses, la mémoire et les logs, que les opérateurs doivent sécuriser et pour lesquels ils doivent définir une rétention. Un avis de forte sévérité (GHSA-xr66-pq9r-2c8j) couvre un contournement basé sur un en-tête sous Istio.
- Coût à grande échelle
- Logiciel gratuit. Le routeur tourne sur des CPU x86-64, avec CUDA ou ROCm optionnels pour ses modèles de classifieur ; la documentation ne publie pas de dimensionnement, si bien que le coût est vos conteneurs plus les backends vers lesquels vous routez.
- Limites
- 490 issues ouvertes et de nouvelles fonctions à chaque version ; la prise en charge ARM, DGX Spark et AMD NPU est qualifiée au build ou expérimentale. Les modèles de décision ne sont pas encore intégrés dans le routeur lui-même.
Les points forts
- Route par contenu de requête, pas par règles statiques
- Classifieurs de sécurité, de jailbreak et de données personnelles intégrés
- Fait partie du projet vLLM ; Apache 2.0
- Peut garder les appels sensibles sur du matériel privé
Les points faibles
- Change vite entre versions
- Plus de services à sécuriser qu'une simple passerelle
- Les benchmarks sont auto-rapportés
- Avis de contournement Istio de forte sévérité en octobre 2026
Idéal pour
Les équipes qui servent plusieurs modèles, souvent sur leur propre flotte vLLM, avec assez de trafic varié pour justifier de choisir un modèle par requête.
Alternatives à vLLM Semantic Router
vLLM Semantic Router : questions fréquentes
- vLLM Semantic Router vaut-il le coup ?
- Un routeur ouvert ambitieux pour choisir des modèles par requête, adapté aux équipes qui font déjà tourner vLLM et peuvent absorber un projet à évolution rapide. Nous lui donnons 3.8 sur 5.
- Combien coûte vLLM Semantic Router ?
- Gratuit et open source sous Apache 2.0. Pas de service payant hébergé.
- Quels sont les inconvénients de vLLM Semantic Router ?
- Change vite entre versions; plus de services à sécuriser qu'une simple passerelle; les benchmarks sont auto-rapportés; avis de contournement Istio de forte sévérité en octobre 2026.
- À qui s’adresse vLLM Semantic Router ?
- Les équipes qui servent plusieurs modèles, souvent sur leur propre flotte vLLM, avec assez de trafic varié pour justifier de choisir un modèle par requête.
- Combien coûte vLLM Semantic Router pour une équipe ou en production ?
- Logiciel gratuit. Le routeur tourne sur des CPU x86-64, avec CUDA ou ROCm optionnels pour ses modèles de classifieur ; la documentation ne publie pas de dimensionnement, si bien que le coût est vos conteneurs plus les backends vers lesquels vous routez.
- vLLM Semantic Router est-il sûr pour les données de l’entreprise ?
- Apache 2.0 sans service payant hébergé. Le routeur peut stocker le replay, le cache de réponses, la mémoire et les logs, que les opérateurs doivent sécuriser et pour lesquels ils doivent définir une rétention. Un avis de forte sévérité (GHSA-xr66-pq9r-2c8j) couvre un contournement basé sur un en-tête sous Istio.
- Quelles sont les meilleures alternatives à vLLM Semantic Router ?
- Les alternatives les plus proches que nous avons testées sont LiteLLM et Portkey AI Gateway.
Réponses vérifiées le 26 oct. 2026.