PagedAttention
PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.
También llamado: paged KV cache
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Mientras genera texto, un modelo mantiene una KV cache: las claves y valores de atención guardados para cada token hasta el momento. Crece con cada token nuevo, y nadie sabe de antemano cuánto durará una respuesta. Los servidores antiguos reservaban un bloque contiguo de memoria de GPU por petición, dimensionado para la longitud máxima. La mayor parte de ese espacio quedaba sin usar, y los huecos entre bloques no podía aprovecharlos nadie más.
Cómo funciona
El artículo de vLLM de 2023 tomó prestada de los sistemas operativos la idea de la paginación de memoria virtual. La KV cache se divide en bloques pequeños. Cada petición tiene una tabla de bloques que asigna sus posiciones lógicas a bloques físicos en cualquier lugar de la memoria, y los bloques nuevos se reparten solo cuando hacen falta. El kernel de atención lee a través de la tabla. Los autores indican un desperdicio casi nulo de memoria de KV cache y entre dos y cuatro veces el throughput de sistemas anteriores con la misma latencia.
Como los bloques son indirectos, las peticiones también pueden compartirlos. Varias muestras del mismo prompt, o muchos chats con el mismo system prompt largo, pueden apuntar a una sola copia del prefijo compartido. Esta es la base del prefix caching en los servidores.
Por qué importa
Memoria libre significa un lote más grande, y un lote más grande significa más usuarios por GPU. PagedAttention es lo que permite que el continuous batching añada y retire peticiones libremente. Apareció primero en vLLM, y hoy la mayoría de los servidores de modelos en producción usan diseños paginados parecidos.
Límites
No reduce la KV cache en sí; los contextos largos siguen necesitando mucha VRAM. Técnicas como la cuantización de la KV cache abordan eso por separado.
Términos relacionados
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
- Continuous batching
- El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Mecanismo de atención
- Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.