Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

PagedAttention

PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.

Também chamado: paged KV cache

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Enquanto gera texto, um modelo mantém um KV cache: chaves e valores de atenção armazenados para cada token até ali. Ele cresce a cada novo token, e ninguém sabe de antemão o tamanho de uma resposta. Servidores mais antigos reservavam um bloco contíguo de memória da GPU por requisição, dimensionado para o tamanho máximo. A maior parte desse espaço ficava sem uso, e os vãos entre os blocos não podiam ser usados por mais ninguém.

Como funciona

O artigo do vLLM de 2023 pegou emprestada dos sistemas operacionais a ideia de paginação de memória virtual. O KV cache é dividido em pequenos blocos. Cada requisição tem uma tabela de blocos que associa suas posições lógicas a blocos físicos em qualquer lugar da memória, e novos blocos só são entregues quando necessário. O kernel de atenção lê por meio da tabela. Os autores relatam desperdício quase zero na memória do KV cache e de duas a quatro vezes o throughput de sistemas anteriores com a mesma latência.

Como os blocos são indiretos, as requisições também podem compartilhá-los. Várias amostras do mesmo prompt, ou muitos chats com o mesmo system prompt longo, podem apontar para uma única cópia do prefixo compartilhado. Essa é a base do prefix caching nos servidores.

Por que importa

Memória livre significa um lote maior, e um lote maior significa mais usuários por GPU. O PagedAttention é o que permite ao continuous batching adicionar e remover requisições livremente. Ele saiu primeiro no vLLM, e designs paginados parecidos hoje são usados pela maioria dos servidores de modelos em produção.

Limites

Ele não reduz o KV cache em si; contextos longos ainda precisam de muita VRAM. Técnicas como a quantização do KV cache tratam disso separadamente.

Termos relacionados

KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
Continuous batching
Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.
VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
Mecanismo de atenção
Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.

Fontes