PagedAttention
PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
Também chamado: paged KV cache
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Enquanto gera texto, um modelo mantém um KV cache: chaves e valores de atenção armazenados para cada token até ali. Ele cresce a cada novo token, e ninguém sabe de antemão o tamanho de uma resposta. Servidores mais antigos reservavam um bloco contíguo de memória da GPU por requisição, dimensionado para o tamanho máximo. A maior parte desse espaço ficava sem uso, e os vãos entre os blocos não podiam ser usados por mais ninguém.
Como funciona
O artigo do vLLM de 2023 pegou emprestada dos sistemas operacionais a ideia de paginação de memória virtual. O KV cache é dividido em pequenos blocos. Cada requisição tem uma tabela de blocos que associa suas posições lógicas a blocos físicos em qualquer lugar da memória, e novos blocos só são entregues quando necessário. O kernel de atenção lê por meio da tabela. Os autores relatam desperdício quase zero na memória do KV cache e de duas a quatro vezes o throughput de sistemas anteriores com a mesma latência.
Como os blocos são indiretos, as requisições também podem compartilhá-los. Várias amostras do mesmo prompt, ou muitos chats com o mesmo system prompt longo, podem apontar para uma única cópia do prefixo compartilhado. Essa é a base do prefix caching nos servidores.
Por que importa
Memória livre significa um lote maior, e um lote maior significa mais usuários por GPU. O PagedAttention é o que permite ao continuous batching adicionar e remover requisições livremente. Ele saiu primeiro no vLLM, e designs paginados parecidos hoje são usados pela maioria dos servidores de modelos em produção.
Limites
Ele não reduz o KV cache em si; contextos longos ainda precisam de muita VRAM. Técnicas como a quantização do KV cache tratam disso separadamente.
Termos relacionados
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
- Continuous batching
- Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Mecanismo de atenção
- Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.