LLM gateway
Un LLM gateway (pasarela de LLM) es un servidor proxy situado entre tus aplicaciones y los proveedores de modelos que expone una sola API y gestiona en un único lugar las claves, el enrutamiento, los fallbacks, los límites de uso, el registro y el control del gasto.
También llamado: AI gateway
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
En cuanto un equipo llama a más de un proveedor de modelos, la misma fontanería se reconstruye en cada servicio: claves de API, reintentos, control de costes, límites por equipo. Un gateway traslada ese trabajo a una única capa compartida. Las aplicaciones envían todas las peticiones al gateway, y el gateway las reenvía al proveedor adecuado.
Qué suele hacer un gateway
La mayoría de los gateways presentan una API compatible con OpenAI, así que el código cliente existente funciona con muchos proveedores cambiando la URL base. Detrás de ese endpoint reparten claves virtuales por usuario o equipo, aplican presupuestos y límites de uso, registran el coste de cada llamada, reintentan o cambian de proveedor cuando uno sufre una caída, y envían logs y trazas a herramientas de observabilidad. Algunos también hacen enrutamiento de LLM, caché y comprobaciones de seguridad.
Entre los ejemplos de código abierto están LiteLLM, Portkey Gateway y Bifrost. Servicios alojados como OpenRouter ofrecen un endpoint único parecido como servicio de pago.
Gateway frente a router
Un router responde a una pregunta: qué modelo debe atender esta petición. Un gateway es el punto de control más amplio, que puede contener un router junto con claves, límites y registro.
Límites
Un gateway es una pieza nueva de infraestructura en el camino de cada petición. Añade un salto de latencia, se convierte en un punto único de fallo si no se ejecuta con redundancia y guarda todas las claves de los proveedores, así que necesita el mismo cuidado que cualquier otro almacén de secretos.
Términos relacionados
- Enrutamiento de LLM
- El enrutamiento de LLM (LLM routing) es la práctica de enviar cada petición al modelo de lenguaje más adecuado para ella, a menudo un modelo barato para prompts fáciles y uno más potente para los difíciles, para equilibrar coste, velocidad y calidad.
- API compatible con OpenAI
- Una API compatible con OpenAI (OpenAI-compatible API) es un endpoint de otro proveedor o herramienta que acepta el mismo formato de petición y respuesta que la API de OpenAI, de modo que el código escrito para OpenAI puede pasarse a él cambiando la URL base, la clave y el nombre del modelo.
- Fallback de modelo
- El fallback de modelo (model fallback) es una regla que envía una petición a un modelo o proveedor de reserva cuando la primera opción falla, tarda demasiado, alcanza un límite de uso o rechaza la entrada. Mantiene en marcha una función de IA durante las caídas.
- Límite de uso (API)
- Un límite de uso (rate limit) restringe cuánto puede usar una cuenta una API en un intervalo de tiempo, normalmente como peticiones por minuto (RPM) y tokens por minuto (TPM). Las peticiones que superan el límite se rechazan, por lo general con un error HTTP 429.
- Observabilidad de LLM
- La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.
- Clave de API
- Una clave de API (API key) es una cadena secreta que una aplicación envía con cada petición para que un servicio sepa qué cuenta llama, aplique sus límites y la facture. Normalmente, cualquiera que tenga la clave puede usarla.