Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

PagedAttention

PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.

También llamado: paged KV cache

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Mientras genera texto, un modelo mantiene una KV cache: las claves y valores de atención guardados para cada token hasta el momento. Crece con cada token nuevo, y nadie sabe de antemano cuánto durará una respuesta. Los servidores antiguos reservaban un bloque contiguo de memoria de GPU por petición, dimensionado para la longitud máxima. La mayor parte de ese espacio quedaba sin usar, y los huecos entre bloques no podía aprovecharlos nadie más.

Cómo funciona

El artículo de vLLM de 2023 tomó prestada de los sistemas operativos la idea de la paginación de memoria virtual. La KV cache se divide en bloques pequeños. Cada petición tiene una tabla de bloques que asigna sus posiciones lógicas a bloques físicos en cualquier lugar de la memoria, y los bloques nuevos se reparten solo cuando hacen falta. El kernel de atención lee a través de la tabla. Los autores indican un desperdicio casi nulo de memoria de KV cache y entre dos y cuatro veces el throughput de sistemas anteriores con la misma latencia.

Como los bloques son indirectos, las peticiones también pueden compartirlos. Varias muestras del mismo prompt, o muchos chats con el mismo system prompt largo, pueden apuntar a una sola copia del prefijo compartido. Esta es la base del prefix caching en los servidores.

Por qué importa

Memoria libre significa un lote más grande, y un lote más grande significa más usuarios por GPU. PagedAttention es lo que permite que el continuous batching añada y retire peticiones libremente. Apareció primero en vLLM, y hoy la mayoría de los servidores de modelos en producción usan diseños paginados parecidos.

Límites

No reduce la KV cache en sí; los contextos largos siguen necesitando mucha VRAM. Técnicas como la cuantización de la KV cache abordan eso por separado.

Términos relacionados

Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
Continuous batching
El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
Mecanismo de atención
Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.

Fuentes