LLM gateway
Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
Também chamado: AI gateway
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Assim que uma equipe chama mais de um provedor de modelos, a mesma infraestrutura é reconstruída em cada serviço: chaves de API, novas tentativas, controle de custos, limites por equipe. Um gateway move esse trabalho para uma única camada compartilhada. As aplicações enviam todas as requisições ao gateway, e o gateway as encaminha ao provedor certo.
O que um gateway geralmente faz
A maioria dos gateways apresenta uma API compatível com a OpenAI, então o código cliente existente funciona com muitos provedores mudando só a URL base. Por trás desse endpoint, eles distribuem chaves virtuais por usuário ou equipe, impõem orçamentos e rate limits, registram o custo de cada chamada, tentam de novo ou passam para outro provedor quando há uma queda, e enviam logs e traces para ferramentas de observabilidade. Alguns também fazem LLM routing, cache e verificações de proteção.
Entre os exemplos de código aberto estão LiteLLM, Portkey Gateway e Bifrost. Serviços hospedados como o OpenRouter oferecem um endpoint único parecido como serviço pago.
Gateway versus roteador
Um roteador responde a uma pergunta: qual modelo deve receber esta requisição. Um gateway é o ponto de controle mais amplo, que pode conter um roteador junto com chaves, limites e logs.
Limites
Um gateway é uma nova peça de infraestrutura no caminho das requisições. Ele acrescenta um salto de latência, vira um ponto único de falha se não rodar com redundância e guarda todas as chaves dos provedores, então precisa do mesmo cuidado que qualquer outro cofre de segredos.
Termos relacionados
- Roteamento de LLM
- O roteamento de LLM (LLM routing) é a prática de enviar cada requisição ao modelo de linguagem mais adequado a ela, muitas vezes um modelo barato para prompts fáceis e um mais forte para prompts difíceis, para equilibrar custo, velocidade e qualidade.
- API compatível com a OpenAI
- Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.
- Fallback de modelo
- Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.
- Rate limit (API)
- Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
- Observabilidade de LLM
- A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.
- Chave de API
- Uma chave de API (API key) é uma string secreta que uma aplicação envia com cada requisição para que um serviço saiba qual conta está chamando, aplique seus limites e faça a cobrança. Quem tem a chave geralmente consegue usá-la.