Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Fallback de modelo

Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.

Também chamado: failover, fallback model, provider failover

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Modelos hospedados falham com mais frequência do que a maioria das APIs web. Os provedores têm quedas, devolvem erros de rate limit e de sobrecarga nos horários de pico e rejeitam requisições longas demais ou que acionam um filtro de conteúdo. Uma cadeia de fallback transforma esses erros em uma resposta mais lenta ou um pouco diferente, em vez de um recurso quebrado.

Como funciona

Você lista os modelos em ordem de preferência, por exemplo um modelo principal, depois o mesmo modelo de um segundo provedor de inferência, depois um modelo mais barato de outra empresa. O cliente ou um LLM gateway tenta o primeiro; se ele falhar depois de um número definido de novas tentativas, a requisição desce na lista. Ferramentas como LiteLLM, Portkey e OpenRouter suportam isso. O LiteLLM também permite definir cadeias separadas por tipo de erro, como uma para prompts que excedem a janela de contexto e outra para rejeições por política de conteúdo, e coloca uma implantação que está falhando em um período de espera, para que o tráfego pare de chegar a ela.

Fallback versus roteamento

O LLM routing escolhe um modelo de antemão para cada requisição, por exemplo pela dificuldade ou pelo preço. O fallback só age depois que algo deu errado. Muitos gateways fazem os dois.

O que observar

Um modelo reserva pode formatar a saída de outro jeito, suportar ferramentas diferentes ou ter uma janela de contexto menor, então teste cada modelo da cadeia com os seus prompts e o seu schema de saída estruturada. Registre qual modelo respondeu a cada requisição; caso contrário, mudanças de qualidade causadas por fallbacks silenciosos são difíceis de rastrear. Não repita requisições com efeitos colaterais, como chamadas de ferramenta de agentes, sem torná-las seguras para repetir.

Termos relacionados

LLM gateway
Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
Roteamento de LLM
O roteamento de LLM (LLM routing) é a prática de enviar cada requisição ao modelo de linguagem mais adequado a ela, muitas vezes um modelo barato para prompts fáceis e um mais forte para prompts difíceis, para equilibrar custo, velocidade e qualidade.
Rate limit (API)
Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
Provedor de inferência
Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.
Observabilidade de LLM
A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.

Fontes