Roteamento de LLM
O roteamento de LLM (LLM routing) é a prática de enviar cada requisição ao modelo de linguagem mais adequado a ela, muitas vezes um modelo barato para prompts fáceis e um mais forte para prompts difíceis, para equilibrar custo, velocidade e qualidade.
Também chamado: model routing, router
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
A maioria das aplicações não precisa do seu modelo mais capaz para toda requisição. Uma saudação, uma consulta curta ou um trabalho de formatação pode ir para um modelo pequeno e rápido, enquanto uma tarefa difícil de código ou raciocínio vai para um maior. Um roteador faz essa escolha por requisição, para que a conta reflita a combinação real de trabalho.
Como funciona
Um roteador pode ser um conjunto de regras (enviar tudo que tem código para o modelo A, tudo acima de certo tamanho para o modelo B), um classificador treinado com resultados anteriores, ou um modelo pequeno que lê o prompt e escolhe um destino. O artigo do RouteLLM treinou roteadores com dados de preferência humana para escolher entre um modelo mais forte e um mais fraco, e relata cortar o custo em mais da metade em alguns casos sem queda na qualidade das respostas. Um decision model que retorna uma escolha tipada é outra forma de construir a etapa de escolha.
O roteamento costuma ficar em um LLM gateway ou em um serviço como o OpenRouter, ou em um roteador open source como o vLLM Semantic Router. A etapa de roteamento de LLM do AI stack lista mais opções.
Roteamento versus fallback
O roteamento escolhe um modelo antes da chamada, com base na requisição. Um modelo de fallback é usado depois que uma chamada falha ou estoura o tempo. Muitos sistemas fazem as duas coisas.
Limites
Um roteador adiciona sua própria latência e pode julgar mal um prompt difícil como fácil, o que aparece como respostas piores, não como um erro. Teste-o no seu próprio tráfego e registre qual modelo atendeu cada requisição.
Termos relacionados
- LLM gateway
- Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
- Modelo de decisão
- Um modelo de decisão (decision model) é um modelo feito para devolver uma resposta tipada, como uma escolha de uma lista, uma nota em uma rubrica ou uma probabilidade de sim ou não, em vez de gerar texto livre.
- Fallback de modelo
- Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- Provedor de inferência
- Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.