Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Prompt caching

El prompt caching (caché de prompts) es una función de las API que guarda la forma procesada de un prefijo de prompt repetido, como un system prompt o un documento largo, para que las peticiones posteriores que empiezan con el mismo prefijo sean más baratas y rápidas.

También llamado: cached input tokens, context caching

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

Muchas aplicaciones envían el mismo texto inicial una y otra vez: instrucciones, definiciones de herramientas, un documento grande o los turnos anteriores de un chat. Normalmente el modelo lo procesa todo en cada petición. Con el prompt caching, el proveedor guarda durante un tiempo breve el estado calculado de ese prefijo, y una petición posterior con un prefijo idéntico lo reutiliza. La documentación de Anthropic lo describe como permitir que la API continúe desde prefijos concretos de tus prompts.

Cómo lo hacen los proveedores

Los detalles varían. En la API de Claude marcas los puntos de caché con `cache_control` o activas la caché automática; las entradas de caché duran 5 minutos por defecto, con una opción de 1 hora con coste adicional. Escribir en la caché cuesta más que la entrada normal y leer de ella cuesta mucho menos: por defecto 0,1 veces el precio base de entrada, con multiplicadores más bajos en algunos modelos. OpenAI guarda en caché automáticamente los prefijos coincidentes cuando un prompt es lo bastante largo; su documentación indica un mínimo de 1.024 tokens para GPT-5.6 y posteriores. Google llama a esta función context caching.

Cómo conseguir aciertos de caché

Solo cuenta una coincidencia exacta del prefijo. Pon primero el contenido estable y al final el que cambia, como la pregunta del usuario. Una marca de tiempo o una lista de herramientas reordenada al principio del prompt rompe la caché para todo lo que viene después. Revisa los campos de uso de las respuestas para confirmar que se están contando los tokens en caché.

No es lo mismo que otras cachés

La KV cache es el estado en memoria dentro de una generación; el prompt caching conserva una versión de ella entre peticiones. Una caché semántica es otra cosa: tu propio sistema devuelve una respuesta guardada para una pregunta parecida sin llamar al modelo. Para ver el efecto en costes, consulta precio por token.

Términos relacionados

Precio por token
El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Caché semántica
Una caché semántica (semantic cache) guarda respuestas anteriores de un LLM y devuelve una cuando una petición nueva significa más o menos lo mismo que otra anterior, según la similitud de embeddings y no una coincidencia exacta de texto. Ahorra coste y latencia en preguntas repetidas.
Context engineering
El context engineering (ingeniería de contexto) es la práctica de elegir y mantener todo lo que entra en la ventana de contexto de un modelo de lenguaje durante una tarea: instrucciones, documentos recuperados, definiciones de herramientas, resultados de herramientas e historial de la conversación.
Tiempo hasta el primer token
El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.

Fuentes