Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Caché KV

Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.

También llamado: key-value cache

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

En un transformer, cada token nuevo atiende a todos los tokens anteriores mediante el mecanismo de atención, que usa un vector de clave y otro de valor por token y por capa. Sin caché, el modelo recalcularía esos vectores para toda la secuencia en cada paso. La caché KV los mantiene en memoria, así que generar el siguiente token solo añade un conjunto nuevo.

El coste de memoria

La caché crece con el número de tokens en contexto, el número de capas y el número de peticiones simultáneas. Con prompts largos o muchos usuarios puede ocupar tanta VRAM como los propios pesos, por eso un modelo puede caber en una tarjeta y aun así fallar con contextos largos. El artículo de PagedAttention describe la memoria de la caché KV por petición como enorme y de tamaño cambiante a medida que las peticiones crecen y terminan; la memoria de caché desperdiciada limita cuántas peticiones puede agrupar un servidor.

Cómo la gestionan los motores

La paged attention, presentada con vLLM, guarda la caché en bloques de tamaño fijo, como las páginas de la memoria virtual, para evitar la fragmentación y compartir bloques entre peticiones con el mismo prefijo. Los motores también pueden cuantizar la caché a menor precisión o descargarla a la memoria de la CPU.

Caché KV y prompt caching

La caché KV vive dentro de una sola generación. El prompt caching, que ofrecen los proveedores de API, conserva el estado calculado para un prefijo de prompt repetido entre peticiones distintas, lo que ahorra tiempo y dinero. La calculadora de GPU incluye la longitud de contexto en su estimación de memoria.

Términos relacionados

VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
PagedAttention
PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.
Prompt caching
El prompt caching (caché de prompts) es una función de las API que guarda la forma procesada de un prefijo de prompt repetido, como un system prompt o un documento largo, para que las peticiones posteriores que empiezan con el mismo prefijo sean más baratas y rápidas.
Ventana de contexto
Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
Mecanismo de atención
Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.

Fuentes