Rate limit (API)
Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
Também chamado: rate limiting, RPM, TPM
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Os provedores de IA limitam o uso para dividir a capacidade de forma justa e evitar abusos. Os limites costumam ser definidos por organização ou projeto e por modelo, e aumentam conforme a sua conta acumula histórico de uso. A documentação da Anthropic, por exemplo, mede os limites da Messages API em requisições por minuto, tokens de entrada por minuto e tokens de saída por minuto, e retorna um erro 429 dizendo qual limite foi excedido.
Como os limites se comportam
Um limite por minuto muitas vezes é aplicado em intervalos menores, então um pico pode falhar mesmo que o total do minuto estivesse dentro do limite. A Anthropic diz que sua API usa um token bucket, então a capacidade é reposta continuamente, não zerada em horários fixos. Alguns limites contam só a entrada sem cache, o que torna o prompt caching uma forma de encaixar mais trabalho no mesmo limite. Tetos de gasto separados também podem bloquear requisições quando um orçamento mensal é atingido.
Como lidar com erros 429
Leia o cabeçalho `retry-after` quando ele existir e espere esse tempo. Caso contrário, tente de novo com backoff exponencial e um pouco de jitter aleatório, e limite o número de tentativas para que um job com falha não fique em loop para sempre. Os cabeçalhos de resposta costumam informar quanto resta de cada limite, o que permite a um cliente desacelerar antes de atingi-lo. Para jobs offline grandes, uma batch API muitas vezes tem limites próprios e mais altos.
Como planejar em torno dos limites
Distribua o tráfego ao longo do tempo, mantenha os prompts enxutos e defina seus próprios limites por workspace para que um serviço não deixe os outros sem capacidade. Um LLM gateway pode enfileirar requisições e roteá-las para um modelo de fallback ou um segundo provedor quando um deles está limitado. Rate limits são separados do preço por token.
Termos relacionados
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- Batch API
- Uma batch API (API de processamento em lote) permite enviar um grande conjunto de requisições de modelo em um único job e coletar os resultados depois, em vez de esperar por cada chamada. Os provedores rodam o job quando há capacidade e geralmente cobram menos por ele.
- LLM gateway
- Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
- Fallback de modelo
- Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.
- Chave de API
- Uma chave de API (API key) é uma string secreta que uma aplicação envia com cada requisição para que um serviço saiba qual conta está chamando, aplique seus limites e faça a cobrança. Quem tem a chave geralmente consegue usá-la.