Caché semántica
Una caché semántica (semantic cache) guarda respuestas anteriores de un LLM y devuelve una cuando una petición nueva significa más o menos lo mismo que otra anterior, según la similitud de embeddings y no una coincidencia exacta de texto. Ahorra coste y latencia en preguntas repetidas.
También llamado: semantic caching
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Una caché normal solo ayuda cuando una petición es idéntica byte a byte a una anterior. La gente rara vez hace la misma pregunta dos veces de la misma forma, así que la caché por coincidencia exacta se pierde la mayoría de las repeticiones en una app de chat o de soporte. Una caché semántica busca coincidencias por significado.
Cómo funciona
Cada prompt entrante se convierte en un embedding. La caché hace una búsqueda vectorial sobre los embeddings de prompts anteriores. Si el más cercano es lo bastante parecido, medido por ejemplo con similitud coseno frente a un umbral que eliges, se devuelve la respuesta guardada y nunca se llama al modelo. Si no, la petición va al modelo y se guarda el nuevo par. GPTCache, de código abierto, sigue este diseño, y muchos LLM gateways y almacenes vectoriales como Redis lo ofrecen como función.
Caché semántica frente a prompt caching
El prompt caching lo hace el proveedor del modelo. Reutiliza el estado calculado de un prefijo de prompt idéntico, sigue ejecutando el modelo y sigue devolviendo una respuesta nueva. Una caché semántica se sitúa delante del modelo y se salta la llamada por completo, devolviendo una respuesta antigua.
Límites
El umbral es lo difícil. Si es demasiado laxo, "cancela mi pedido" puede devolver la respuesta guardada para "rastrea mi pedido". Si es demasiado estricto, pocas peticiones aciertan en la caché. Las respuestas en caché también pueden quedarse obsoletas, filtrar la respuesta personalizada de un usuario a otro o ignorar el contexto de la conversación, así que la caché semántica encaja mejor con preguntas compartidas y sin estado (FAQ, consultas de documentación) que con chats personales o de varios turnos. Limita la caché por tenant cuando los datos sean privados y fija una caducidad.
Términos relacionados
- Prompt caching
- El prompt caching (caché de prompts) es una función de las API que guarda la forma procesada de un prefijo de prompt repetido, como un system prompt o un documento largo, para que las peticiones posteriores que empiezan con el mismo prefijo sean más baratas y rápidas.
- LLM gateway
- Un LLM gateway (pasarela de LLM) es un servidor proxy situado entre tus aplicaciones y los proveedores de modelos que expone una sola API y gestiona en un único lugar las claves, el enrutamiento, los fallbacks, los límites de uso, el registro y el control del gasto.
- Embedding
- Un embedding (vector de representación) es una lista de números (un vector) que representa un fragmento de texto, una imagen u otros datos, generada de forma que los elementos con significado parecido acaban con vectores cercanos entre sí.
- Búsqueda vectorial
- La búsqueda vectorial (vector search) encuentra elementos comparando sus embeddings con el embedding de una consulta y devolviendo los más cercanos, de modo que los resultados coinciden por significado y no por palabras clave compartidas.
- Similitud del coseno
- La similitud del coseno (cosine similarity) mide cuánto se parecen dos vectores según el ángulo que forman. Va de -1 a 1, ignora la longitud de los vectores y es la forma más habitual de comparar embeddings en búsqueda.