Roteamento e gateways de LLM

O que observar

As perguntas que separam as opções, em ordem de importância.

1. 01

   Você precisa mesmo de um roteador?

   Se um serviço chama um ou dois provedores, os SDKs dos próprios provedores mais um wrapper de novas tentativas são mais simples e eliminam um salto de rede. Um gateway se paga quando várias equipes compartilham chaves de provedores, o financeiro quer os gastos por equipe ou você precisa de failover automático entre provedores. O roteamento por significado a cada requisição só compensa quando o tráfego é grande e variado o bastante para que mandar as requisições fáceis a um modelo mais barato mude a conta, e quando você tem avaliações para provar que a qualidade se mantém.

2. 02

   Roteador hospedado, gateway self-hosted ou modelo de decisão

   Um roteador hospedado (OpenRouter) oferece uma chave e uma conta para centenas de modelos sem nada para operar, mas cada requisição passa por um terceiro e você paga uma taxa sobre os créditos. Um gateway self-hosted (LiteLLM, Bifrost, Portkey, Claude Code Router) mantém o tráfego e as chaves na sua rede e acrescenta orçamentos e logs, mas você o opera. Um roteador com modelo de decisão (vLLM Semantic Router, ou um modelo de decisão como Jev, pplx-decider ou d3 chamado a partir do seu código) lê cada requisição e escolhe o modelo; é uma camada sobre um gateway, não um substituto.

3. 03

   Fallbacks, novas tentativas e cobertura de provedores

   Verifique se o roteador consegue tentar de novo em caso de limites de taxa e timeouts e cair para outro provedor ou modelo, e não só para outra chave. As alegações de cobertura (mais de 100 provedores, mais de 1.600 modelos) importam menos do que saber se os seus provedores específicos, incluindo Azure, Bedrock e Vertex, são suportados com as suas particularidades: chamadas de ferramentas, streaming, cabeçalhos de cache de prompts e entradas de visão. Teste um failover antes de depender dele.

4. 04

   Chaves, orçamentos e acompanhamento de gastos

   Para equipes, o recurso central é emitir chaves virtuais com orçamentos e limites de taxa por equipe, usuário ou projeto, e registrar os gastos de cada uma. Verifique quais desses recursos estão na versão open source e quais são pagos: a documentação e a página enterprise do LiteLLM discordam sobre se os orçamentos são exclusivos do enterprise. Os roteadores hospedados cuidam do faturamento para você, mas oferecem controles menos detalhados.

5. 05

   Postura de segurança e cadeia de suprimentos

   Um gateway guarda todas as chaves de provedores que você tem, então o seu próprio histórico de segurança importa tanto quanto os recursos. As versões 1.82.7 e 1.82.8 do LiteLLM no PyPI foram envenenadas em março de 2026 para roubar credenciais. Fixe versões exatas, instale a partir de imagens verificadas, isole o gateway e mantenha os roteadores locais presos ao localhost. Confira também os padrões: o Bifrost foi lançado com a API de gerenciamento sem autenticação, e uma falha com nota 9,8 que permitia a uma única requisição não autenticada executar comandos só foi corrigida na v2.1.0, em setembro de 2026. A propriedade também importa: a Portkey agora faz parte da Palo Alto Networks, que define o seu roadmap.

6. 06

   Sobrecarga de latência e cache

   Os gateways anunciam sobrecargas pequenas (o LiteLLM cita 8 ms no P95 a 1.000 requisições por segundo; o Bifrost, 11 µs a 5.000; a Portkey, menos de 1 ms), mas esses são benchmarks dos próprios projetos; meça com o seu tráfego. Um roteador hospedado acrescenta um salto de rede e possivelmente uma mudança de região. Roteadores semânticos acrescentam uma chamada a um classificador por requisição; modelos de decisão relatam de dezenas a centenas de milissegundos. O cache de respostas e o repasse do cache de prompts dos provedores podem economizar mais do que o roteador custa.

7. 07

   Método de roteamento, licença e manutenção

   O roteamento por regras (listas de modelos, pesos, condições) é previsível e fácil de auditar. O roteamento semântico ou aprendido é mais barato em teoria, mas mais difícil de depurar; verifique se ele informa por que um modelo foi escolhido. As licenças variam: MIT (Portkey, Claude Code Router), MIT com uma pasta enterprise comercial (LiteLLM), Apache 2.0 (vLLM Semantic Router, Bifrost, cuja build Enterprise tem licença separada). Confira a atividade de lançamentos: o gateway da Portkey não teve versão estável entre janeiro e outubro de 2026.

11 ferramentas comparadas

Ordenadas pela nossa nota. Abra qualquer avaliação para ver as fontes, os preços e o veredito completo.

Ferramentas de Roteamento e gateways de LLM comparadas

Ferramenta	Nota	Nosso veredito	Ideal para	Preço
OpenRouterferramenta	4.6/5	O OpenRouter é a primeira parada sensata se o seu app precisa de mais de um modelo, mas, quando você se fixa em um único modelo com volume alto e constante, vale a pena eliminar a taxa sobre créditos.	Desenvolvedores e equipes pequenas que querem testar, comparar ou oferecer muitos modelos de IA por uma única integração.	Você paga os preços de tabela dos fornecedores pelos modelos. Taxa sobre compras de créditos: 5,5% (Standard) ou 8% (Business). Chave própria gratuita nos primeiros US$ 25.000/mês de uso, depois 5%. Modelos gratuitos: 50 requisições/dia, ou 1.000/dia após uma compra de US$ 10.
Perplexity Decider (pplx-decider)modelo	4.5/5	Um modelo de decisão que você pode baixar, que lê imagens e roda por menos da metade do preço do Jev, com notas bem acima do Jev em testes nos quais ninguém consegue treinar.	Equipes que querem decisões tipadas fortes sobre texto e imagens, seja por uma API barata ou nas próprias GPUs.	API: pplx-decider-v1.2 a US$ 0,02 e Flash a US$ 0,01 por 1M de tokens de entrada; saída gratuita, sem tarifa por requisição. Pesos gratuitos sob Apache 2.0.
LiteLLMrepositório	4.3/5	O gateway auto-hospedado padrão para equipes que precisam de uma única API, orçamentos por equipe e fallbacks entre muitos provedores, desde que fixem versões e o tratem como infraestrutura crítica de segurança.	Equipes de plataforma que precisam dar a muitos desenvolvedores acesso controlado a muitos provedores de modelos a partir da própria infraestrutura.	Gratuito e de código aberto sob MIT, exceto a pasta enterprise/, que está sob uma licença comercial separada. O Enterprise tem preço sob consulta, com uma chave de teste gratuita de 30 dias.
d3 (vLLM Semantic Router)modelo	4.0/5	Forte, aberto e fácil de servir no vLLM, mas nove dias após o lançamento o próprio d3-turbo fez dele a versão da qual migrar.	Equipes que já rodam vLLM e querem um modelo de decisão aberto para verificações de texto, imagem ou vídeo em suas próprias GPUs, e que já validaram contra este checkpoint.	Pesos grátis sob Apache 2.0. Sem API hospedada paga; a demonstração pública gratuita agora serve o d3-turbo.
Claude Code Routerrepositório	4.0/5	Uma central local competente para rodar agentes de programação em modelos mais baratos, desde que você aceite que a Anthropic não dará suporte ao resultado e que as edições serão piores.	Desenvolvedores que querem rodar o Claude Code ou outros agentes em modelos mais baratos ou locais.	Gratuito e de código aberto (MIT). Você paga cada provedor de modelos para o qual encaminha.
Bifrostrepositório	3.9/5	Um gateway rápido, com licença Apache e orçamentos no build gratuito, prejudicado por um padrão de segurança que deixou a API de administração aberta até setembro de 2026.	Equipes com grandes volumes de requisições, ou empresas que trabalham em Go, que querem um gateway com licença Apache e orçamentos e estão dispostas a blindar a API de administração.	Gratuito e de código aberto sob Apache 2.0. O Enterprise tem preço sob consulta, com teste gratuito de 14 dias; o preço não é publicado.
vLLM Semantic Routerrepositório	3.8/5	Um roteador aberto ambicioso para escolher modelos por solicitação, indicado para equipes que já executam vLLM e conseguem absorver um projeto em rápida evolução.	Equipes que servem vários modelos, frequentemente em sua própria infraestrutura de vLLM, com tráfego variado o suficiente para justificar a escolha de um modelo por solicitação.	Gratuito e de código aberto sob Apache 2.0. Sem serviço pago hospedado.
Jevmodelo	3.8/5	O Jev transformou decisões tipadas em produto, e desde então modelos abertos o superaram tanto em pontuação quanto em preço.	Equipes que querem uma API hospedada e barata para roteamento de texto, triagem e portões de sim/não sem operar as próprias GPUs.	US$ 0,042 por 1M de tokens de entrada (US$ 42 por bilhão); tokens de saída são gratuitos. Mesmo preço em contexto longo. Limites Enterprise via vendas.
Portkey AI Gatewayrepositório	3.7/5	Um roteador elegante com licença MIT que ficou parado desde que a Palo Alto Networks o comprou; serve para rodar hoje, é difícil construir um roadmap em cima dele.	Equipes em runtimes de edge, ou empresas que já compram segurança da Palo Alto, que querem uma camada de roteamento leve.	Gratuito e de código aberto sob MIT. Planos hospedados: Developer gratuito (10,000 logs registrados por mês, retenção de logs de 3 dias); Production $49/mês (100,000 logs, depois $9 a cada 100,000); Enterprise sob consulta.
ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)modelo	3.7/5	Os preços são reais e o classificador é bom, mas os números do lançamento foram além das evidências e a compatibilidade com o Jev custa mais do que parece.	Equipes que pagam preço de modelo topo de linha por roteamento, etiquetagem ou extração de campos e querem um substituto hospedado barato, e que vão testá-lo antes com os seus próprios dados rotulados.	US$ 0,05 por 1M de tokens de entrada de texto, US$ 0,15 por 1M de tokens de entrada de imagem, saída gratuita; 1M de tokens grátis para contas novas. OpenRouter: US$ 0,04 com desconto de 20%. Enterprise: instância dedicada ou licença de auto-hospedagem, sob cotação.
LLayamodelo	3.4/5	Muito rápido e realmente aberto, mas perto de chutar em decisões difíceis sem ajuste: uma base para fine-tuning, não um substituto do Jev.	Equipes com dados próprios de decisão rotulados que querem um modelo minúsculo e auto-hospedado para fazer fine-tuning para roteamento rápido ou guardrails.	Pesos e pacote Python gratuitos sob Apache 2.0. Sem API paga hospedada; você mesmo o roda.

Lado a lado

As especificações que importam nesta etapa. Verificadas em 19 de out. de 2026; confirme no site do fornecedor antes de decidir.

Comparativos diretos e rankings

• LiteLLM vs. Bifrost
• LiteLLM vs. Portkey AI Gateway

Onde esta etapa se encaixa

• Agente de atendimento ao cliente: começaríamos com Jev.
• Agente de programação: começaríamos com OpenRouter, LiteLLM.
• Agente de voz: começaríamos com Laya.
• Processamento de documentos: começaríamos com GLiNER2.5-Decide.
• Automação de fluxos de trabalho: começaríamos com Perplexity Decider (pplx-decider).

Fontes deste guia

• Preços do OpenRouter
• Repositório do LiteLLM
• LiteLLM enterprise
• Datadog Security Labs: comprometimento do LiteLLM no PyPI
• Repositório do Portkey AI Gateway
• Palo Alto Networks conclui a aquisição da Portkey
• Repositório do Bifrost
• Documentação do Bifrost: provedores compatíveis
• The Hacker News: falha crítica no gateway de IA Bifrost
• Repositório do vLLM Semantic Router
• Repositório do Claude Code Router