Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Continuous batching

Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.

Também chamado: iteration-level scheduling, in-flight batching, dynamic batching

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Uma GPU é mais eficiente quando processa muitas requisições ao mesmo tempo. A forma simples de fazer isso, o static batching (agrupamento estático), reúne um grupo de requisições, roda todas juntas e as devolve quando todas terminam. Com modelos de linguagem isso desperdiça muito: uma requisição pode precisar de uma resposta de uma linha e outra de um ensaio longo, então as requisições curtas ficam prontas mas sem retorno, enquanto as recém-chegadas esperam o lote esvaziar.

Como funciona

A geração acontece um token por passo. O artigo do Orca (OSDI 2022) propôs agendar no nível desses passos, e não de requisições inteiras. Depois de cada passo, o servidor devolve qualquer requisição que tenha terminado e encaixa as requisições em espera nos lugares livres. O lote está sempre cheio de trabalho ativo.

A técnica agora é padrão. O vLLM inclui o continuous batching de requisições recebidas entre seus recursos principais, e SGLang, TensorRT-LLM (que o chama de in-flight batching) e Hugging Face TGI também o fazem.

Por que isso importa

Para quem hospeda um modelo por conta própria, o continuous batching é boa parte do motivo de um servidor de modelos moderno atender muito mais usuários por GPU do que um loop ingênuo sobre `generate()`. Ele funciona melhor junto com o PagedAttention, porque acrescentar e remover requisições a cada passo exige memória flexível no KV cache.

Não é o mesmo que uma batch API

Uma batch API é uma forma offline e com desconto de comprar inferência de um provedor. O continuous batching é um método de agendamento dentro do servidor, usado para tráfego ao vivo.

O custo

Mais requisições simultâneas dividem a GPU, então cada uma gera um pouco mais devagar. Os servidores expõem configurações para o tamanho máximo do lote e os tokens por passo, para que você possa equilibrar throughput e time to first token.

Termos relacionados

Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
PagedAttention
PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Batch API
Uma batch API (API de processamento em lote) permite enviar um grande conjunto de requisições de modelo em um único job e coletar os resultados depois, em vez de esperar por cada chamada. Os provedores rodam o job quando há capacidade e geralmente cobram menos por ele.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.

Fontes