KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Também chamado: key-value cache
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Em um transformer, cada novo token presta atenção a todos os tokens anteriores por meio do mecanismo de atenção, que usa um vetor key e um vetor value por token em cada camada. Sem um cache, o modelo recalcularia esses vetores para a sequência inteira a cada passo. O KV cache os mantém na memória, então gerar o próximo token só acrescenta um novo conjunto.
O custo de memória
O cache cresce com o número de tokens no contexto, o número de camadas e o número de requisições simultâneas. Para prompts longos ou muitos usuários, ele pode ocupar tanta VRAM quanto os próprios pesos, e é por isso que um modelo pode caber em uma placa, mas falhar com contexto longo. O artigo do PagedAttention descreve a memória do KV cache por requisição como enorme e com tamanho variável à medida que as requisições crescem e terminam; a memória de cache desperdiçada limita quantas requisições um servidor consegue agrupar.
Como os mecanismos o gerenciam
A paged attention, apresentada com o vLLM, guarda o cache em blocos de tamanho fixo, como páginas de memória virtual, para evitar fragmentação e compartilhar blocos entre requisições com o mesmo prefixo. Os mecanismos também podem quantizar o cache para uma precisão menor ou descarregá-lo para a memória da CPU.
KV cache e prompt caching
O KV cache vive dentro de uma única geração. O prompt caching, oferecido por provedores de API, mantém o estado calculado de um prefixo de prompt repetido entre requisições separadas, o que economiza tempo e dinheiro. A calculadora de GPU inclui o tamanho do contexto na sua estimativa de memória.
Termos relacionados
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- PagedAttention
- PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
- Prompt caching
- Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Mecanismo de atenção
- Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.