Fallback de modelo
El fallback de modelo (model fallback) es una regla que envía una petición a un modelo o proveedor de reserva cuando la primera opción falla, tarda demasiado, alcanza un límite de uso o rechaza la entrada. Mantiene en marcha una función de IA durante las caídas.
También llamado: failover, fallback model, provider failover
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Los modelos alojados fallan más a menudo que la mayoría de las API web. Los proveedores sufren caídas, devuelven errores de límite de uso y de sobrecarga en los momentos de mucho tráfico, y rechazan peticiones demasiado largas o que activan un filtro de contenido. Una cadena de fallback convierte esos errores en una respuesta más lenta o algo distinta en lugar de una función rota.
Cómo funciona
Enumeras los modelos por orden de preferencia, por ejemplo un modelo principal, luego el mismo modelo en un segundo proveedor de inferencia y después un modelo más barato de otra empresa. El cliente o un LLM gateway prueba el primero; si falla tras un número fijado de reintentos, la petición baja por la lista. Herramientas como LiteLLM, Portkey y OpenRouter lo admiten. LiteLLM también te permite fijar cadenas separadas por tipo de error, como una para los prompts que superan la ventana de contexto y otra para los rechazos por política de contenido, y pone en espera un despliegue que falla para que el tráfico deje de llegarle.
Fallback frente a enrutamiento
El enrutamiento de LLM elige un modelo de antemano para cada petición, por ejemplo según la dificultad o el precio. El fallback solo actúa después de que algo haya ido mal. Muchos gateways hacen las dos cosas.
Qué vigilar
Un modelo de reserva puede dar formato a la salida de otra manera, admitir herramientas distintas o tener una ventana de contexto más pequeña, así que prueba cada modelo de la cadena con tus prompts y tu esquema de salida estructurada. Registra qué modelo respondió a cada petición; si no, los cambios de calidad por fallbacks silenciosos son difíciles de rastrear. No reintentes peticiones con efectos secundarios, como las llamadas a herramientas de un agente, sin hacer que sea seguro repetirlas.
Términos relacionados
- LLM gateway
- Un LLM gateway (pasarela de LLM) es un servidor proxy situado entre tus aplicaciones y los proveedores de modelos que expone una sola API y gestiona en un único lugar las claves, el enrutamiento, los fallbacks, los límites de uso, el registro y el control del gasto.
- Enrutamiento de LLM
- El enrutamiento de LLM (LLM routing) es la práctica de enviar cada petición al modelo de lenguaje más adecuado para ella, a menudo un modelo barato para prompts fáciles y uno más potente para los difíciles, para equilibrar coste, velocidad y calidad.
- Límite de uso (API)
- Un límite de uso (rate limit) restringe cuánto puede usar una cuenta una API en un intervalo de tiempo, normalmente como peticiones por minuto (RPM) y tokens por minuto (TPM). Las peticiones que superan el límite se rechazan, por lo general con un error HTTP 429.
- Proveedor de inferencia
- Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.
- Observabilidad de LLM
- La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.