¿Qué es LiteLLM?
LiteLLM hace dos trabajos. Como librería de Python, permite que el código llame a OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI y más de 100 proveedores más con una sola función en formato OpenAI. Como servidor proxy, que el proyecto llama ahora AI Gateway, se sitúa entre toda una organización y esos proveedores.
El gateway emite claves virtuales, registra el gasto por clave, usuario y equipo, aplica presupuestos y límites de peticiones, reparte la carga entre despliegues y recurre a otro modelo cuando uno falla. Envía registros a Langfuse, MLflow, Helicone y otras herramientas, y puede aplicar guardarraíles como el enmascarado de datos personales. La descripción del repositorio anuncia ahora un núcleo en Rust junto al SDK de Python, y la documentación enlaza a un gateway en Rust en beta.
Es open core. Todo lo que está fuera de la carpeta enterprise/ es MIT; esa carpeta tiene su propia licencia comercial. El nivel empresarial añade SSO y SCIM, registros de auditoría, control de acceso por roles, despliegue aislado de la red y SLA de soporte, con precios que solo se dan bajo petición.
¿Merece la pena LiteLLM?
LiteLLM es el gateway al que la mayoría de los equipos recurren primero, y lo que le da ese puesto es la amplitud: más de 100 proveedores tras una sola API en formato OpenAI, una versión cada pocos días (la v1.106.4 salió el 25 de octubre de 2026) y unas 62.100 estrellas en GitHub. Muchas herramientas traen integración con LiteLLM, así que rara vez es la pieza extraña de un stack. La latencia P95 de 8 ms a 1.000 peticiones por segundo que cita el README es un benchmark del propio proyecto.
No todos los equipos necesitan un gateway. Si llamas a uno o dos proveedores desde un único servicio, los SDK de los propios proveedores y una capa de reintentos son más sencillos y eliminan un salto. Un gateway empieza a compensar cuando varios equipos comparten claves de proveedores, cuando finanzas quiere el gasto por equipo o cuando necesitas conmutación automática entre, por ejemplo, Azure OpenAI y OpenAI. Las claves virtuales, los presupuestos y el respaldo funcionan en la versión de código abierto.
Su punto débil es que un gateway guarda todas las claves de proveedores que tienes, lo que hace que su historial de seguridad importe. El 24 de marzo de 2026, unos atacantes con un token de PyPI robado publicaron dos versiones envenenadas, la 1.82.7 y la 1.82.8, que recogían claves SSH, credenciales de la nube y tokens de Kubernetes; la nota de incidente de LiteLLM dice que estuvieron disponibles unos 40 minutos y atribuye la brecha al escáner Trivy de su pipeline de CI, y las imágenes oficiales de Docker no se vieron afectadas. La lista de avisos del propio proyecto también es larga: 17 publicados en 2026, cuatro críticos, entre ellos una forma de saltarse la autenticación mediante inyección en la cabecera Host en mayo y una escalada de privilegios a administrador del proxy en septiembre. Las medidas de mitigación existen, ya que las imágenes de Docker -stable pasan pruebas de carga de 12 horas y todas las imágenes van firmadas con cosign, pero solo ayudan a los equipos que fijan versiones y verifican.
La frontera del open core tampoco está clara. SSO, registros de auditoría y SLA son claramente de pago; la página empresarial incluye también las claves virtuales, los presupuestos y los límites RPM/TPM entre sus funciones de gobierno, mientras que la documentación de código abierto los describe como estándar. La misma página cita SOC 2 Type 2 e ISO 27001 y un objetivo de respuesta de una hora para caídas Sev 0. El gateway de Portkey es el principal rival de código abierto, y OpenRouter encaja con equipos que prefieren alquilar esa capa a mantenerla, a costa de que cada prompt pase por un tercero.
Dónde se gana su sitio
Un equipo de plataforma que da a 300 ingenieros acceso a OpenAI, Anthropic y Bedrock
Emitir claves por equipo con presupuestos e informar del gasto por equipo
Ejecutar el proxy en Kubernetes con Postgres y Redis, dar a cada equipo una clave virtual con presupuesto y pasar a finanzas el gasto por clave, usuario y equipo. Gratis en la versión de código abierto; el SSO para la interfaz de administración requiere licencia empresarial.
Un SRE responsable de la disponibilidad de un producto basado en LLM
Conmutar de Azure OpenAI a OpenAI cuando un despliegue se degrada
Poner ambos despliegues en un grupo de modelos con respaldo y reintentos en el router. El coste es un salto de red más y un componente que guarda todas las claves de proveedores, así que fija una imagen -stable y verifica su firma cosign.
Un responsable de ingeniería en una fintech regulada
Elegir entre LiteLLM de código abierto autoalojado y la licencia empresarial
Enterprise tiene precio a medida, con una clave de prueba autoalojada de 30 días, y añade SSO, SCIM, registros de auditoría y un objetivo de respuesta de una hora para Sev 0. En cualquier caso, reserva tiempo para parchear: en 2026 llegaron cuatro avisos críticos.
Antes de decidirte
- Puesta en marcha
- uv tool install 'litellm[proxy]' y después litellm --model gpt-4o ejecuta un proxy local en el puerto 4000; en producción se usa la imagen de Docker, el chart de Helm o los módulos de Terraform para AWS (ECS Fargate, Aurora, ElastiCache) y GCP (Cloud Run, Cloud SQL).
- Integraciones
- Endpoints compatibles con OpenAI /chat/completions, /responses, /embeddings, /messages, /batches y más, en más de 100 proveedores; registros en Langfuse, MLflow, Helicone y otros; gateways MCP y A2A; un SDK de Python que funciona sin el proxy.
- Datos y privacidad
- Autoalojado, así que los prompts solo van a los proveedores que configures; la guía de producción no menciona telemetría hacia BerriAI. El proxy guarda claves, registros de gasto y, opcionalmente, prompts en tu Postgres. En 2026 se publicaron diecisiete avisos de seguridad, cuatro críticos.
- Coste a escala
- La documentación dimensiona cada worker en 1 vCPU y 4 GiB, así que un nodo de 8 workers necesita 8 vCPU y 32 GiB, más Postgres y Redis 7 en cuanto ejecutas más de una instancia. Enterprise tiene precio bajo petición.
- Límites
- 5.748 incidencias y pull requests abiertas; las versiones cada pocos días obligan a actualizar a menudo; los pools de conexiones de Postgres deben dimensionarse por instancia y worker; el gateway en Rust sigue en beta.
Lo bueno
- Más de 100 proveedores en formato OpenAI
- Claves virtuales, presupuestos y respaldo en la versión gratuita
- Imágenes -stable firmadas con cosign y con pruebas de carga de 12 horas
- Módulos de Terraform para AWS y GCP
Lo malo
- 17 avisos de seguridad en 2026, cuatro críticos
- Versiones envenenadas en PyPI en marzo de 2026
- La frontera del open core no está clara en la documentación
- Precios de Enterprise sin publicar
Ideal para
Equipos de plataforma que deben dar a muchos desarrolladores acceso controlado a muchos proveedores de modelos desde su propia infraestructura.
Alternativas a LiteLLM
LiteLLM: preguntas frecuentes
- ¿Merece la pena LiteLLM?
- El gateway autoalojado por defecto para equipos que necesitan una sola API, presupuestos por equipo y respaldo entre muchos proveedores, siempre que fijen versiones y lo traten como infraestructura crítica para la seguridad. Le damos un 4.3 sobre 5.
- ¿Cuánto cuesta LiteLLM?
- Gratuito y de código abierto bajo MIT, salvo la carpeta enterprise/, que tiene una licencia comercial aparte. Enterprise tiene precio a medida, con una clave de prueba gratuita de 30 días.
- ¿Qué inconvenientes tiene LiteLLM?
- 17 avisos de seguridad en 2026, cuatro críticos; versiones envenenadas en PyPI en marzo de 2026; la frontera del open core no está clara en la documentación; precios de Enterprise sin publicar.
- ¿Para quién es LiteLLM?
- Equipos de plataforma que deben dar a muchos desarrolladores acceso controlado a muchos proveedores de modelos desde su propia infraestructura.
- ¿Cuánto cuesta LiteLLM para un equipo o en producción?
- La documentación dimensiona cada worker en 1 vCPU y 4 GiB, así que un nodo de 8 workers necesita 8 vCPU y 32 GiB, más Postgres y Redis 7 en cuanto ejecutas más de una instancia. Enterprise tiene precio bajo petición.
- ¿Es LiteLLM seguro para los datos de la empresa?
- Autoalojado, así que los prompts solo van a los proveedores que configures; la guía de producción no menciona telemetría hacia BerriAI. El proxy guarda claves, registros de gasto y, opcionalmente, prompts en tu Postgres. En 2026 se publicaron diecisiete avisos de seguridad, cuatro críticos.
- ¿Cuáles son las mejores alternativas a LiteLLM?
- Las alternativas más cercanas que hemos analizado son Portkey AI Gateway, Bifrost, vLLM Semantic Router y Langfuse.
Respuestas comprobadas el 26 oct 2026.