¿Qué es vLLM Semantic Router?
vLLM Semantic Router se coloca delante de un conjunto de modelos y decide cuál debe responder a cada petición. Las aplicaciones llaman a un único nombre de modelo virtual, como vllm-sr/auto; el router extrae señales de la petición (tema, modalidad, seguridad, PII, preferencias del usuario), aplica las reglas que escribas y envía la llamada a un backend adecuado por calidad, coste, latencia o ubicación.
Está escrito en Go, tiene licencia Apache 2.0 y forma parte del proyecto vLLM. La versión 0.4, llamada Hermes, se anunció el 24 de septiembre de 2026 con 982 commits de 130 contribuidores desde la versión anterior. El proyecto también entrena sus propios modelos clasificadores pequeños (Vela) para comprobaciones de dominio, jailbreak, PII y alucinaciones, y modelos de decisión más grandes, reseñados por separado como d3.
Los backends pueden ser vLLM, SGLang o cualquier API compatible con OpenAI, incluidos modelos cerrados de OpenAI y Anthropic.
¿Merece la pena vLLM Semantic Router?
El enrutado semántico es la idea correcta para un grupo reducido de equipos, y esta es su implementación abierta más sólida. Si la mayor parte de tu tráfico es sencillo y un modelo abierto pequeño puede responderlo, enviar solo las peticiones difíciles a un modelo frontier caro ahorra dinero. El router toma esa decisión en cada petición y puede mantener los datos privados en tus propias GPU mientras otras llamadas van a la nube.
El proyecto avanza rápido. Llegó a la v0.1 en enero de 2026 y a la v0.4 en septiembre, y la rama main cambia a diario. El coste son los cambios constantes: las notas de versión describen nuevas señales, plugins y funciones experimentales (Fusion, Workflows) en cada versión, y los modelos de decisión que promociona el proyecto todavía no están conectados al propio router, según reconoce el propio proyecto. Sus cifras de benchmark proceden de evaluaciones propias, y hay 490 issues abiertas.
La superficie operativa es mayor que la de un gateway. Una instalación local ejecuta el router, un panel en el puerto 8700, una API compatible con OpenAI en el 8899 y servicios de apoyo en Docker, y la guía de bastionado pide a los operadores que autentiquen los listeners de inferencia y de gestión y que enlacen los puertos internos de forma privada. El 18 de octubre de 2026 el proyecto publicó un aviso de gravedad alta: con Istio, una cabecera del cliente podía saltarse por completo el router por la reutilización de un nombre de filtro.
La mayoría de los equipos no necesita esto. Una regla estática, como un modelo para el chat y otro para el código, o la lista de respaldo de un gateway, cubre el caso habitual con mucha menos maquinaria. Enrutar por significado solo compensa cuando el tráfico es lo bastante grande y variado como para que las decisiones por petición cambien la factura, y cuando las evaluaciones confirman que las rutas más baratas no reducen la calidad. RouteLLM, el router de investigación de LMSYS que suele citarse para la misma idea, no tiene commits desde agosto de 2024, lo que deja a este proyecto con poca competencia abierta.
Dónde se gana su sitio
Un equipo de plataforma que sirve 10 millones de peticiones al mes entre una flota de vLLM y una API frontier
Enviar los prompts fáciles a un modelo abierto propio y solo los difíciles a la API de pago
Las aplicaciones llaman a vllm-sr/auto y las reglas enrutan por dominio y dificultad. El ahorro depende de la parte del tráfico que pueda asumir un modelo pequeño, y eso exige demostrarlo con un conjunto de evaluación antes del cambio.
Un responsable de TI sanitaria con datos de pacientes en los prompts
Mantener en local las peticiones con PII mientras otras llamadas usan modelos en la nube
El clasificador de PII marca las peticiones y las reglas de enrutado las fijan a backends locales de vLLM. El router es gratuito; el coste es ejecutarlo, junto con los clasificadores y las GPU privadas.
Un responsable de ingeniería en una empresa de 40 desarrolladores que usa agentes de programación
Dar a los agentes una elección automática de modelo como el modo auto de Cursor
Apunta el harness del agente al endpoint compatible con OpenAI del router. La guía de OpenCode del proyecto muestra el patrón; cuenta con cambios de configuración entre versiones.
Antes de decidirte
- Puesta en marcha
- curl -fsSL https://vllm-sr.ai/install.sh | bash, o pip install vllm-sr y luego vllm-sr serve; necesita Linux, macOS o WSL2, Python 3.10+, y Docker o Podman. En Kubernetes funciona con un Helm chart o un operador.
- Integraciones
- Backends en vLLM, SGLang o cualquier API compatible con OpenAI, incluidas OpenAI y Anthropic; modo gateway con Envoy ext_proc; Valkey para memoria de agentes; un ejemplo experimental con NVIDIA Dynamo.
- Datos y privacidad
- Apache 2.0 sin servicio alojado de pago. El router puede guardar replay, caché de respuestas, memoria y registros, que los operadores deben proteger y para los que deben fijar la retención. Un aviso de gravedad alta (GHSA-xr66-pq9r-2c8j) cubre un bypass basado en cabeceras con Istio.
- Coste a escala
- Software gratuito. El router funciona en CPU x86-64, con CUDA o ROCm opcionales para sus modelos clasificadores; la documentación no publica un dimensionamiento, así que el coste son tus contenedores más los backends a los que enrutes.
- Límites
- 490 issues abiertas y funciones nuevas en cada versión; el soporte de ARM, DGX Spark y NPU de AMD está cualificado solo para compilación o es experimental. Los modelos de decisión todavía no están integrados en el propio router.
Lo bueno
- Enruta por el contenido de la petición, no con reglas estáticas
- Clasificadores integrados de seguridad, jailbreak y PII
- Parte del proyecto vLLM; Apache 2.0
- Puede mantener las llamadas sensibles en hardware privado
Lo malo
- Cambia rápido entre versiones
- Más servicios que proteger que un gateway simple
- Benchmarks de elaboración propia
- Aviso de gravedad alta por un bypass con Istio en octubre de 2026
Ideal para
Equipos que sirven varios modelos, a menudo en su propia flota de vLLM, con tráfico lo bastante variado como para justificar elegir modelo en cada petición.
Alternativas a vLLM Semantic Router
vLLM Semantic Router: preguntas frecuentes
- ¿Merece la pena vLLM Semantic Router?
- Un router abierto y ambicioso para elegir modelo en cada petición, adecuado para equipos que ya ejecutan vLLM y pueden asumir un proyecto que cambia rápido. Le damos un 3.8 sobre 5.
- ¿Cuánto cuesta vLLM Semantic Router?
- Gratuito y de código abierto con Apache 2.0. No hay servicio alojado de pago.
- ¿Qué inconvenientes tiene vLLM Semantic Router?
- Cambia rápido entre versiones; más servicios que proteger que un gateway simple; benchmarks de elaboración propia; aviso de gravedad alta por un bypass con Istio en octubre de 2026.
- ¿Para quién es vLLM Semantic Router?
- Equipos que sirven varios modelos, a menudo en su propia flota de vLLM, con tráfico lo bastante variado como para justificar elegir modelo en cada petición.
- ¿Cuánto cuesta vLLM Semantic Router para un equipo o en producción?
- Software gratuito. El router funciona en CPU x86-64, con CUDA o ROCm opcionales para sus modelos clasificadores; la documentación no publica un dimensionamiento, así que el coste son tus contenedores más los backends a los que enrutes.
- ¿Es vLLM Semantic Router seguro para los datos de la empresa?
- Apache 2.0 sin servicio alojado de pago. El router puede guardar replay, caché de respuestas, memoria y registros, que los operadores deben proteger y para los que deben fijar la retención. Un aviso de gravedad alta (GHSA-xr66-pq9r-2c8j) cubre un bypass basado en cabeceras con Istio.
- ¿Cuáles son las mejores alternativas a vLLM Semantic Router?
- Las alternativas más cercanas que hemos analizado son LiteLLM y Portkey AI Gateway.
Respuestas comprobadas el 26 oct 2026.