Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Batch API

Uma batch API (API de processamento em lote) permite enviar um grande conjunto de requisições de modelo em um único job e coletar os resultados depois, em vez de esperar por cada chamada. Os provedores rodam o job quando há capacidade e geralmente cobram menos por ele.

Também chamado: batch inference, batch processing, Message Batches API

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

A maioria das chamadas de modelo é síncrona: você envia um prompt e espera a resposta. Muito trabalho não precisa de resposta em segundos, como classificar um milhão de tickets de suporte, gerar descrições de produtos, rodar uma suíte de avaliação ou rotular dados de treinamento. Uma batch API é feita para isso.

Como funciona

Você envia um arquivo ou uma lista de requisições, cada uma com seu próprio ID. O provedor coloca o job na fila, processa em segundo plano e oferece um status para você consultar. Quando termina, você baixa os resultados e os associa aos seus IDs. A Message Batches API da Anthropic, por exemplo, cobra 50 por cento a menos do que as chamadas padrão e diz que um lote pode levar até 24 horas, embora muitos terminem antes. A OpenAI e outros provedores oferecem endpoints parecidos com seus próprios descontos e prazos; confira os números atuais em preços de modelos de IA.

Por que é mais barato

O provedor pode rodar o trabalho em lote em períodos de pouca demanda e agrupar as requisições de forma eficiente. Jobs em lote também costumam ter seus próprios rate limits, separados do seu tráfego ao vivo, para que um job grande não deixe seu produto sem capacidade.

Batch API versus batching em um servidor

"Batching" também descreve como um servidor de modelos agrupa requisições na GPU, como no continuous batching. Essa é uma técnica interna de velocidade e acontece também com o tráfego ao vivo. Uma batch API é um produto: uma forma mais lenta e com desconto de comprar inferência.

Limites

Você abre mão de latência e de algum controle. Requisições individuais podem falhar ou expirar e precisar ser reenviadas, os resultados chegam fora de ordem e não há streaming. Lotes não servem para nada que um usuário esteja esperando.

Termos relacionados

Preço por token
O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
Rate limit (API)
Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Continuous batching
Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.

Fontes