Enrutamiento de LLM
El enrutamiento de LLM (LLM routing) es la práctica de enviar cada petición al modelo de lenguaje más adecuado para ella, a menudo un modelo barato para prompts fáciles y uno más potente para los difíciles, para equilibrar coste, velocidad y calidad.
También llamado: model routing, router
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La mayoría de las aplicaciones no necesitan su modelo más capaz para cada petición. Un saludo, una consulta breve o una tarea de formato pueden ir a un modelo pequeño y rápido, mientras que una tarea complicada de programación o razonamiento va a uno más grande. Un router toma esa decisión en cada petición, de modo que la factura refleja la mezcla real de trabajo.
Cómo funciona
Un router puede ser un conjunto de reglas (envía todo lo que tenga código al modelo A y todo lo que supere cierta longitud al modelo B), un clasificador entrenado con resultados anteriores o un modelo pequeño que lee el prompt y elige un destino. El artículo de RouteLLM entrenó routers con datos de preferencias humanas para elegir entre un modelo más fuerte y otro más débil, y afirma que en algunos casos redujo el coste a menos de la mitad sin pérdida de calidad en las respuestas. Un decision model que devuelve una elección tipada es otra forma de construir el paso de selección.
El enrutamiento suele vivir en un LLM gateway o en un servicio como OpenRouter, o en un router de código abierto como vLLM Semantic Router. La etapa de enrutamiento de LLM del AI stack recoge más opciones.
Enrutamiento frente a fallback
El enrutamiento elige un modelo antes de la llamada en función de la petición. Un modelo de fallback se usa después de que una llamada falle o agote el tiempo. Muchos sistemas hacen ambas cosas.
Límites
Un router añade su propia latencia y puede tomar por fácil un prompt difícil, lo que se nota en peores respuestas y no en un error. Pruébalo con tu propio tráfico y registra qué modelo atendió cada petición.
Términos relacionados
- LLM gateway
- Un LLM gateway (pasarela de LLM) es un servidor proxy situado entre tus aplicaciones y los proveedores de modelos que expone una sola API y gestiona en un único lugar las claves, el enrutamiento, los fallbacks, los límites de uso, el registro y el control del gasto.
- Modelo de decisión
- Un modelo de decisión (decision model) es un modelo creado para devolver una respuesta tipada, como una opción de una lista, una puntuación según una rúbrica o una probabilidad de sí o no, en lugar de generar texto libre.
- Fallback de modelo
- El fallback de modelo (model fallback) es una regla que envía una petición a un modelo o proveedor de reserva cuando la primera opción falla, tarda demasiado, alcanza un límite de uso o rechaza la entrada. Mantiene en marcha una función de IA durante las caídas.
- Precio por token
- El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
- Proveedor de inferencia
- Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.