Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

GPTCache

La caché semántica de Zilliz para llamadas a LLM: responde preguntas parecidas con respuestas guardadas, pero las versiones se pararon en 2024.

Reseña de ReviewRamble editors · Actualizado

Ver en GitHub Código abierto

Comparte esta página:XLinkedInFacebookRedditWhatsAppCorreo

Nuestra nota

2.9/5

Una caché semántica que enseñó la idea al sector, ahora casi inactiva, y cuya coincidencia por defecto devolvería la respuesta equivocada más a menudo que la correcta en su propio benchmark nuevo.

¿Qué es GPTCache?

GPTCache se coloca delante de un LLM y devuelve una respuesta guardada cuando una petición nueva se parece a una que ya ha visto. Convierte cada petición en un embedding, busca vecinos cercanos en un almacén de vectores y pide a un evaluador de similitud que decida si la coincidencia más próxima basta para reutilizarla. Cada pieza es intercambiable: embeddings de ONNX, OpenAI, Cohere, Hugging Face o SentenceTransformers; respuestas en SQLite, PostgreSQL, MySQL, DynamoDB y otros; vectores en Milvus, FAISS, Chroma, Qdrant, pgvector y más; expulsión por LRU, FIFO o LFU, en memoria o mediante Redis o memcached.

Nació en 2023 en Zilliz, la empresa detrás de la base de datos vectorial Milvus, y se integró pronto en LangChain y LlamaIndex. Tiene licencia MIT, está escrito en Python y también puede funcionar como servidor Docker para otros lenguajes.

El README dice ahora que el proyecto ya no añade soporte para nuevas APIs ni modelos y remite a llamadas genéricas get y set. En septiembre de 2026 un colaborador fusionó adaptadores para la API Messages de Anthropic y el cliente actual de OpenAI, además de un evaluador opcional que envía cada posible reutilización a la API alojada de TypeSafe para obtener un sí o un no.

¿Merece la pena GPTCache?

GPTCache está estancado, y quien lo adopte a finales de 2026 debería decirlo en el documento de diseño. La última versión en PyPI, 0.1.44, salió el 1 de agosto de 2024, y la anterior en noviembre de 2023. Los commits bajaron de 34 en junio de 2023 a un puñado al año, y luego llegó una ráfaga de 10 el 22 de septiembre de 2026: adaptadores y un benchmark de un solo colaborador, fusionados por un mantenedor. Hay 77 incidencias abiertas y 26 pull requests abiertas. El README sigue diciendo que el proyecto está "en pleno desarrollo" dos líneas por encima de una nota que dice que ya no admite modelos nuevos.

El problema mayor es el de toda caché semántica: una pregunta que parece similar no siempre es la misma pregunta. "¿Cuál es nuestro plazo de reembolso en Alemania?" y "...¿en Francia?" quedan muy cerca como embeddings, y una caché que las empareja sirve una respuesta segura, equivocada y desfasada sin ninguna llamada al modelo que lo detecte. El README de GPTCache reconoce los falsos positivos; el benchmark de septiembre de 2026 les pone cifra. Sobre 1,536 pares etiquetados, el reranker cross-encoder por defecto del repositorio, con su umbral de 0.80, reutilizó 880 respuestas, y 508 de esas reutilizaciones eran incorrectas, una precisión del 42.2%.

La misma pull request muestra que un juez más estricto ayuda: el JevEvaluation opcional, que llama a la API alojada de TypeSafe, alcanzó entre un 97.3% y un 99.7% de precisión en el mismo conjunto manteniendo entre un 72% y un 78% de recall. Eso supone un servicio externo que ve cada consulta y cada respuesta en caché, una dependencia nueva y un coste por llamada, lo que contradice el motivo de cachear en local.

La pega: lo que queda es un kit bien diseñado pero envejecido, cuya configuración por defecto no es segura para nada en lo que importe la pregunta exacta, como precios, políticas, datos de cuenta o fechas.

Nuestra opinión: una caché de coincidencia exacta más el prompt caching del propio proveedor del modelo captura la mayor parte del ahorro sin ningún riesgo de respuestas equivocadas. Si de verdad hace falta coincidencia semántica, gateways como LiteLLM y Bifrost ya la ofrecen dentro de proyectos que siguen publicando versiones.

Dónde se gana su sitio

  • Un responsable de soporte en una empresa SaaS con un bot público de FAQ

    Dejar de pagar por las mismas 200 preguntas hechas miles de veces al día

    Empieza con caché de coincidencia exacta (embeddings desactivados) en SQLite, que no tiene riesgo de respuestas equivocadas. Añade coincidencia semántica solo después de etiquetar una muestra de preguntas casi duplicadas y subir el umbral de similitud hasta que dejen de producirse reutilizaciones erróneas.

  • Un desarrollador que escribe tests para una función basada en LLM

    Ejecutar la batería de tests sin llamar a la API de pago en cada ejecución

    Envuelve el cliente con la caché de coincidencia exacta de GPTCache para que los prompts de test repetidos devuelvan respuestas guardadas. Las ejecuciones son rápidas y gratuitas tras la primera pasada; vacía la caché cuando cambien los prompts.

  • Un ingeniero de plataforma que evalúa caché semántica para un asistente interno

    Medir con qué frecuencia una caché semántica respondería a la pregunta equivocada

    Reproduce el benchmark de reutilización de 1,536 casos en examples/benchmark y luego puntúa una semana de pares de consultas de la propia empresa. La precisión del 42.2% del reranker por defecto en el conjunto incluido es la referencia a superar antes de poner nada en producción.

Antes de decidirte

Puesta en marcha
pip install gptcache y cache.init() para coincidencia exacta; el modo semántico necesita un modelo de embeddings (ONNX por defecto), un almacén de vectores y un evaluador de similitud configurados en código, y las librerías extra se instalan al primer uso.
Integraciones
Adaptadores para los clientes de OpenAI y Anthropic Messages, LangChain, LlamaIndex, llama.cpp y APIs de imagen y audio; un servidor Docker lo expone a otros lenguajes.
Datos y privacidad
Los prompts y respuestas en caché quedan en el almacén que configures, sin cifrar salvo que ese almacén los cifre. El JevEvaluation opcional envía la consulta y la respuesta candidata a api.typesafe.ai.
Coste a escala
Sin coste de licencia; pagas el modelo de embeddings, el almacén de vectores y, si lo usas, las llamadas a la API de TypeSafe por cada candidato de caché.
Límites
La expulsión en memoria cuenta entradas, no bytes, lo que según el README puede causar errores de falta de memoria; no todas las combinaciones de módulos son compatibles; 77 incidencias y 26 pull requests abiertas.

Lo bueno

  • Modular: embeddings, almacenes, bases de datos vectoriales y evaluadores intercambiables
  • Amplio soporte de backends, de SQLite y FAISS a Milvus y DynamoDB
  • El modo de coincidencia exacta funciona con los embeddings desactivados
  • Benchmark publicado de precisión y recall de reutilización

Lo malo

  • Sin versión en PyPI desde agosto de 2024
  • El reranker por defecto reutilizó respuestas erróneas 508 veces de 880 en su propio benchmark
  • El README dice que no se añadirá soporte para nuevos modelos ni APIs
  • El evaluador preciso envía consultas y respuestas a una API de terceros

Ideal para

Equipos con preguntas repetidas, de gran volumen y poco riesgo, como bots públicos de FAQ, dispuestos a ajustar umbrales con su propio tráfico etiquetado y a mantener un fork.

Alternativas a GPTCache

GPTCache: preguntas frecuentes

¿Merece la pena GPTCache?
Una caché semántica que enseñó la idea al sector, ahora casi inactiva, y cuya coincidencia por defecto devolvería la respuesta equivocada más a menudo que la correcta en su propio benchmark nuevo. Le damos un 2.9 sobre 5.
¿Cuánto cuesta GPTCache?
Gratuito y de código abierto bajo MIT. Tú ejecutas el modelo de embeddings, el almacén de caché y el almacén de vectores; el evaluador opcional de TypeSafe necesita su propia clave de API.
¿Qué inconvenientes tiene GPTCache?
Sin versión en PyPI desde agosto de 2024; el reranker por defecto reutilizó respuestas erróneas 508 veces de 880 en su propio benchmark; el README dice que no se añadirá soporte para nuevos modelos ni APIs; el evaluador preciso envía consultas y respuestas a una API de terceros.
¿Para quién es GPTCache?
Equipos con preguntas repetidas, de gran volumen y poco riesgo, como bots públicos de FAQ, dispuestos a ajustar umbrales con su propio tráfico etiquetado y a mantener un fork.
¿Cuánto cuesta GPTCache para un equipo o en producción?
Sin coste de licencia; pagas el modelo de embeddings, el almacén de vectores y, si lo usas, las llamadas a la API de TypeSafe por cada candidato de caché.
¿Es GPTCache seguro para los datos de la empresa?
Los prompts y respuestas en caché quedan en el almacén que configures, sin cifrar salvo que ese almacén los cifre. El JevEvaluation opcional envía la consulta y la respuesta candidata a api.typesafe.ai.
¿Cuáles son las mejores alternativas a GPTCache?
Las alternativas más cercanas que hemos analizado son LiteLLM, Bifrost y Portkey AI Gateway.

Respuestas comprobadas el 20 nov 2026.