Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LLM gateway

Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.

Também chamado: AI gateway

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Assim que uma equipe chama mais de um provedor de modelos, a mesma infraestrutura é reconstruída em cada serviço: chaves de API, novas tentativas, controle de custos, limites por equipe. Um gateway move esse trabalho para uma única camada compartilhada. As aplicações enviam todas as requisições ao gateway, e o gateway as encaminha ao provedor certo.

O que um gateway geralmente faz

A maioria dos gateways apresenta uma API compatível com a OpenAI, então o código cliente existente funciona com muitos provedores mudando só a URL base. Por trás desse endpoint, eles distribuem chaves virtuais por usuário ou equipe, impõem orçamentos e rate limits, registram o custo de cada chamada, tentam de novo ou passam para outro provedor quando há uma queda, e enviam logs e traces para ferramentas de observabilidade. Alguns também fazem LLM routing, cache e verificações de proteção.

Entre os exemplos de código aberto estão LiteLLM, Portkey Gateway e Bifrost. Serviços hospedados como o OpenRouter oferecem um endpoint único parecido como serviço pago.

Gateway versus roteador

Um roteador responde a uma pergunta: qual modelo deve receber esta requisição. Um gateway é o ponto de controle mais amplo, que pode conter um roteador junto com chaves, limites e logs.

Limites

Um gateway é uma nova peça de infraestrutura no caminho das requisições. Ele acrescenta um salto de latência, vira um ponto único de falha se não rodar com redundância e guarda todas as chaves dos provedores, então precisa do mesmo cuidado que qualquer outro cofre de segredos.

Termos relacionados

Roteamento de LLM
O roteamento de LLM (LLM routing) é a prática de enviar cada requisição ao modelo de linguagem mais adequado a ela, muitas vezes um modelo barato para prompts fáceis e um mais forte para prompts difíceis, para equilibrar custo, velocidade e qualidade.
API compatível com a OpenAI
Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.
Fallback de modelo
Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.
Rate limit (API)
Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
Observabilidade de LLM
A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.
Chave de API
Uma chave de API (API key) é uma string secreta que uma aplicação envia com cada requisição para que um serviço saiba qual conta está chamando, aplique seus limites e faça a cobrança. Quem tem a chave geralmente consegue usá-la.

Fontes