O que é LiteLLM?
O LiteLLM faz dois trabalhos. Como biblioteca Python, permite que o código chame OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI e mais de 100 outros provedores com uma única função no formato OpenAI. Como servidor proxy, que o projeto agora chama de AI Gateway, ele fica entre uma organização inteira e esses provedores.
O gateway emite chaves virtuais, acompanha o gasto por chave, usuário e equipe, aplica orçamentos e limites de requisições, faz balanceamento de carga entre implantações e recorre a outro modelo quando um falha. Ele envia logs a Langfuse, MLflow, Helicone e outras ferramentas, e pode rodar guardrails como mascaramento de dados pessoais. A descrição do repositório agora anuncia um núcleo em Rust ao lado do SDK Python, e a documentação aponta para um gateway em Rust em beta.
É open core. Tudo fora da pasta enterprise/ é MIT; essa pasta tem sua própria licença comercial. O plano enterprise adiciona SSO e SCIM, logs de auditoria, controle de acesso baseado em papéis, implantação air-gapped e SLAs de suporte, com preços informados só sob consulta.
LiteLLM vale a pena?
O LiteLLM é o gateway que a maioria das equipes procura primeiro, e o que sustenta essa posição é a amplitude: mais de 100 provedores atrás de uma única API no formato OpenAI, uma versão a cada poucos dias (a v1.106.4 saiu em 25 de outubro de 2026) e cerca de 62.100 estrelas no GitHub. Muitas ferramentas trazem integração com o LiteLLM, então ele raramente vira a peça estranha de uma pilha. A latência P95 de 8 ms a 1.000 requisições por segundo citada no README é o benchmark do próprio projeto.
Nem toda equipe precisa de um gateway. Se você chama um ou dois provedores a partir de um serviço, os SDKs dos próprios provedores e um wrapper de novas tentativas são mais simples e eliminam um salto. Um gateway começa a se pagar quando várias equipes compartilham chaves de provedores, quando o financeiro quer o gasto por equipe ou quando você precisa de failover automático entre, por exemplo, Azure OpenAI e OpenAI. Chaves virtuais, orçamentos e fallbacks funcionam todos no build de código aberto.
Sua fraqueza é que um gateway guarda todas as chaves de provedores que você tem, o que torna seu histórico de segurança relevante. Em 24 de março de 2026, atacantes com um token roubado do PyPI publicaram duas versões envenenadas, 1.82.7 e 1.82.8, que coletavam chaves SSH, credenciais de nuvem e tokens do Kubernetes; a nota de incidente do próprio LiteLLM diz que elas ficaram no ar por cerca de 40 minutos e atribui a invasão ao scanner Trivy no seu pipeline de CI, e as imagens Docker oficiais não foram afetadas. A lista de alertas do próprio projeto também é longa: 17 publicados em 2026, quatro classificados como críticos, incluindo um bypass de autenticação por injeção no cabeçalho Host em maio e uma escalada de privilégio até administrador do proxy em setembro. As mitigações existem, já que as imagens Docker -stable passam por testes de carga de 12 horas e toda imagem é assinada com cosign, mas só ajudam equipes que fixam e verificam versões.
A fronteira do open core também é difusa. SSO, logs de auditoria e SLAs são claramente pagos; a página enterprise lista chaves virtuais, orçamentos e limites de RPM/TPM também entre seus recursos de governança, enquanto a documentação de código aberto os descreve como padrão. A mesma página cita SOC 2 Type 2 e ISO 27001 e uma meta de resposta de uma hora para quedas Sev 0. O gateway da Portkey é o principal rival de código aberto, e o OpenRouter serve a equipes que preferem alugar a camada a operá-la, ao preço de enviar todo prompt por um terceiro.
Onde ele se destaca
Uma equipe de plataforma dando a 300 engenheiros acesso a OpenAI, Anthropic e Bedrock
Emitir chaves por equipe com orçamentos e relatar o gasto por equipe
Rodar o proxy no Kubernetes com Postgres e Redis, entregar a cada equipe uma chave virtual com orçamento e dar ao financeiro o gasto por chave, usuário e equipe. Gratuito no build de código aberto; SSO para a interface de administração exige uma licença enterprise.
Um SRE responsável pela disponibilidade de um produto baseado em LLM
Fazer failover do Azure OpenAI para a OpenAI quando uma implantação se degrada
Colocar as duas implantações em um grupo de modelos com fallbacks e novas tentativas no roteador. O custo é um salto de rede extra e um componente que guarda todas as chaves de provedores, então fixe uma imagem -stable e verifique sua assinatura cosign.
Uma chefe de engenharia em uma fintech regulada
Decidir entre o LiteLLM de código aberto auto-hospedado e a licença enterprise
O Enterprise tem preço sob consulta, com uma chave de teste auto-hospedada de 30 dias, e adiciona SSO, SCIM, logs de auditoria e uma meta de resposta de uma hora para Sev 0. De qualquer forma, reserve tempo para correções: quatro alertas críticos saíram em 2026.
Antes de decidir
- Configuração
- uv tool install 'litellm[proxy]' e depois litellm --model gpt-4o roda um proxy local na porta 4000; em produção, use a imagem Docker, o chart Helm ou os módulos Terraform para AWS (ECS Fargate, Aurora, ElastiCache) e GCP (Cloud Run, Cloud SQL).
- Integrações
- /chat/completions, /responses, /embeddings, /messages, /batches e mais, compatíveis com OpenAI, em mais de 100 provedores; logs para Langfuse, MLflow, Helicone e outros; gateways MCP e A2A; um SDK Python que funciona sem o proxy.
- Dados e privacidade
- Auto-hospedado, então os prompts vão só para os provedores que você configurar; o guia de produção não menciona telemetria para a BerriAI. O proxy guarda chaves, logs de gasto e, opcionalmente, prompts no seu Postgres. Dezessete alertas de segurança foram publicados em 2026, quatro críticos.
- Custo em escala
- A documentação dimensiona cada worker em 1 vCPU e 4 GiB, então um nó com 8 workers precisa de 8 vCPU e 32 GiB, mais Postgres e Redis 7 quando você roda mais de uma instância. O Enterprise tem preço sob consulta.
- Limites
- 5.748 issues e pull requests abertos; versões a cada poucos dias significam atualizações frequentes; os pools de conexão do Postgres precisam ser dimensionados por instância e worker; o gateway em Rust ainda está em beta.
O que é bom
- Mais de 100 provedores no formato OpenAI
- Chaves virtuais, orçamentos e fallbacks no build gratuito
- Imagens -stable assinadas com cosign e testes de carga de 12 horas
- Módulos Terraform para AWS e GCP
O que não é
- 17 alertas de segurança em 2026, quatro críticos
- Versões envenenadas no PyPI em março de 2026
- A fronteira do open core não é clara na documentação
- Preço do Enterprise não publicado
Ideal para
Equipes de plataforma que precisam dar a muitos desenvolvedores acesso controlado a muitos provedores de modelos a partir da própria infraestrutura.
Alternativas ao LiteLLM
LiteLLM: perguntas frequentes
- LiteLLM vale a pena?
- O gateway auto-hospedado padrão para equipes que precisam de uma única API, orçamentos por equipe e fallbacks entre muitos provedores, desde que fixem versões e o tratem como infraestrutura crítica de segurança. Damos nota 4.3 de 5.
- Quanto custa LiteLLM?
- Gratuito e de código aberto sob MIT, exceto a pasta enterprise/, que está sob uma licença comercial separada. O Enterprise tem preço sob consulta, com uma chave de teste gratuita de 30 dias.
- Quais são as desvantagens de LiteLLM?
- 17 alertas de segurança em 2026, quatro críticos; versões envenenadas no PyPI em março de 2026; a fronteira do open core não é clara na documentação; preço do Enterprise não publicado.
- Para quem LiteLLM é indicado?
- Equipes de plataforma que precisam dar a muitos desenvolvedores acesso controlado a muitos provedores de modelos a partir da própria infraestrutura.
- Quanto custa LiteLLM para uma equipe ou em produção?
- A documentação dimensiona cada worker em 1 vCPU e 4 GiB, então um nó com 8 workers precisa de 8 vCPU e 32 GiB, mais Postgres e Redis 7 quando você roda mais de uma instância. O Enterprise tem preço sob consulta.
- LiteLLM é seguro para dados da empresa?
- Auto-hospedado, então os prompts vão só para os provedores que você configurar; o guia de produção não menciona telemetria para a BerriAI. O proxy guarda chaves, logs de gasto e, opcionalmente, prompts no seu Postgres. Dezessete alertas de segurança foram publicados em 2026, quatro críticos.
- Quais são as melhores alternativas ao LiteLLM?
- As alternativas mais próximas que analisamos são Portkey AI Gateway, Bifrost, vLLM Semantic Router e Langfuse.
Respostas verificadas em 26 de out. de 2026.