Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

GPTCache

Le cache sémantique de Zilliz pour les appels LLM : il répond aux questions proches avec des réponses stockées, mais les versions se sont arrêtées en 2024.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

2.9/5

Un cache sémantique qui a fait connaître l'idée au secteur, désormais presque en sommeil, et dont la correspondance par défaut renverrait plus souvent la mauvaise réponse que la bonne sur son propre nouveau benchmark.

Qu’est-ce que GPTCache ?

GPTCache se place devant un LLM et renvoie une réponse stockée quand une nouvelle requête ressemble à une requête déjà vue. Il transforme chaque requête en embedding, cherche des voisins proches dans une base vectorielle et demande à un évaluateur de similarité si la correspondance la plus proche l'est assez pour être réutilisée. Chaque brique est interchangeable : embeddings ONNX, OpenAI, Cohere, Hugging Face ou SentenceTransformers ; réponses dans SQLite, PostgreSQL, MySQL, DynamoDB et d'autres ; vecteurs dans Milvus, FAISS, Chroma, Qdrant, pgvector et plus ; éviction LRU, FIFO ou LFU, en mémoire ou via Redis ou memcached.

Il est né en 2023 chez Zilliz, l'entreprise derrière la base vectorielle Milvus, et a été intégré tôt à LangChain et LlamaIndex. Il est sous licence MIT, écrit en Python, et peut aussi tourner comme serveur Docker pour d'autres langages.

Le README indique désormais que le projet n'ajoute plus la prise en charge de nouvelles API ni de nouveaux modèles et renvoie vers des appels génériques get et set. En septembre 2026, un contributeur a fusionné des adaptateurs pour l'API Messages d'Anthropic et le client OpenAI actuel, ainsi qu'un évaluateur optionnel qui envoie chaque réutilisation candidate à l'API hébergée de TypeSafe pour obtenir un oui ou un non.

GPTCache vaut-il le coup ?

GPTCache stagne, et qui l'adopte fin 2026 devrait l'écrire dans le document de conception. La dernière version PyPI, 0.1.44, est sortie le 1er août 2024, la précédente en novembre 2023. Les commits sont passés de 34 en juin 2023 à une poignée par an, puis une salve de 10 le 22 septembre 2026 : des adaptateurs et un benchmark d'un seul contributeur, fusionnés par un mainteneur. On compte 77 tickets ouverts et 26 pull requests ouvertes. Le README affirme toujours que le projet est "en plein développement", deux lignes au-dessus d'une note disant qu'il ne prend plus en charge de nouveaux modèles.

Le problème principal est celui de tout cache sémantique : une question qui se ressemble n'est pas toujours la même question. "Quel est notre délai de remboursement en Allemagne ?" et "...en France ?" sont proches en tant qu'embeddings, et un cache qui les associe sert une réponse assurée, fausse et périmée, sans appel au modèle pour rattraper l'erreur. Le README de GPTCache reconnaît les faux positifs ; le benchmark de septembre 2026 les chiffre. Sur 1,536 paires étiquetées, le reranker cross-encoder par défaut du dépôt, à son seuil de 0.80, a réutilisé 880 réponses, et 508 de ces réutilisations étaient fausses, soit une précision de 42.2%.

La même pull request montre qu'un juge plus strict aide : le JevEvaluation optionnel, qui appelle l'API hébergée de TypeSafe, a atteint 97.3% à 99.7% de précision sur le même jeu en conservant 72% à 78% de rappel. Cela implique un service tiers qui voit chaque requête et chaque réponse en cache, une nouvelle dépendance et un coût par appel, ce qui contredit la raison même de mettre en cache localement.

Le hic : il reste une boîte à outils bien conçue mais vieillissante, dont les réglages par défaut ne sont pas sûrs dès que la question exacte compte, par exemple pour des prix, des politiques, des données de compte ou des dates.

Notre avis : un cache à correspondance exacte, plus le prompt caching du fournisseur du modèle, capte l'essentiel des économies sans aucun risque de mauvaise réponse. Si la correspondance sémantique est vraiment nécessaire, des passerelles comme LiteLLM et Bifrost la proposent désormais au sein de projets qui publient encore des versions.

Là où il fait la différence

  • Une responsable support dans une entreprise SaaS dotée d'un bot FAQ public

    Ne plus payer pour les 200 mêmes questions posées des milliers de fois par jour

    Commencez par un cache à correspondance exacte (embeddings désactivés) dans SQLite, sans risque de mauvaise réponse. N'ajoutez la correspondance sémantique qu'après avoir étiqueté un échantillon de questions quasi identiques et relevé le seuil de similarité jusqu'à ce que les réutilisations fausses cessent.

  • Un développeur qui écrit des tests pour une fonctionnalité appuyée sur un LLM

    Lancer la suite de tests sans appeler l'API payante à chaque exécution

    Enveloppez le client avec le cache à correspondance exacte de GPTCache pour que les prompts de test répétés renvoient les réponses stockées. Après le premier passage, les exécutions sont rapides et gratuites ; videz le cache quand les prompts changent.

  • Un ingénieur plateforme qui évalue un cache sémantique pour un assistant interne

    Mesurer à quelle fréquence un cache sémantique répondrait à la mauvaise question

    Rejouez le benchmark de réutilisation de 1,536 cas dans examples/benchmark, puis notez une semaine de paires de requêtes de l'entreprise. La précision de 42.2% du reranker par défaut sur le jeu fourni est la référence à battre avant toute mise en production.

Avant de vous engager

Mise en route
pip install gptcache et cache.init() pour la correspondance exacte ; le mode sémantique exige un modèle d'embeddings (ONNX par défaut), une base vectorielle et un évaluateur de similarité configurés dans le code, et des bibliothèques supplémentaires s'installent au premier usage.
Intégrations
Adaptateurs pour les clients OpenAI et Anthropic Messages, LangChain, LlamaIndex, llama.cpp et des API d'image et d'audio ; un serveur Docker l'expose aux autres langages.
Données et confidentialité
Les prompts et réponses en cache restent dans le stockage que vous configurez, non chiffrés sauf si ce stockage les chiffre. Le JevEvaluation optionnel envoie la requête et la réponse candidate à api.typesafe.ai.
Coût à grande échelle
Aucun coût de licence ; vous payez le modèle d'embeddings, la base vectorielle et, le cas échéant, les appels à l'API TypeSafe pour chaque candidat du cache.
Limites
L'éviction en mémoire compte des entrées, pas des octets, ce qui selon le README peut provoquer des erreurs de mémoire ; toutes les combinaisons de modules ne sont pas compatibles ; 77 tickets et 26 pull requests ouverts.

Les points forts

  • Modulaire : embeddings, stockages, bases vectorielles et évaluateurs interchangeables
  • Large choix de backends, de SQLite et FAISS à Milvus et DynamoDB
  • Le mode correspondance exacte fonctionne avec les embeddings désactivés
  • Benchmark publié de précision et de rappel des réutilisations

Les points faibles

  • Aucune version PyPI depuis août 2024
  • Le reranker par défaut a réutilisé de mauvaises réponses 508 fois sur 880 dans son propre benchmark
  • Le README annonce qu'aucun nouveau modèle ni API ne sera pris en charge
  • L'évaluateur précis envoie requêtes et réponses à une API tierce

Idéal pour

Les équipes qui reçoivent en masse des questions répétées à faible enjeu, comme les bots FAQ publics, prêtes à régler les seuils sur leur propre trafic étiqueté et à maintenir un fork.

Alternatives à GPTCache

GPTCache : questions fréquentes

GPTCache vaut-il le coup ?
Un cache sémantique qui a fait connaître l'idée au secteur, désormais presque en sommeil, et dont la correspondance par défaut renverrait plus souvent la mauvaise réponse que la bonne sur son propre nouveau benchmark. Nous lui donnons 2.9 sur 5.
Combien coûte GPTCache ?
Gratuit et open source sous MIT. Vous faites tourner le modèle d'embeddings, le stockage du cache et la base vectorielle ; l'évaluateur TypeSafe optionnel exige sa propre clé d'API.
Quels sont les inconvénients de GPTCache ?
Aucune version PyPI depuis août 2024; le reranker par défaut a réutilisé de mauvaises réponses 508 fois sur 880 dans son propre benchmark; le README annonce qu'aucun nouveau modèle ni API ne sera pris en charge; l'évaluateur précis envoie requêtes et réponses à une API tierce.
À qui s’adresse GPTCache ?
Les équipes qui reçoivent en masse des questions répétées à faible enjeu, comme les bots FAQ publics, prêtes à régler les seuils sur leur propre trafic étiqueté et à maintenir un fork.
Combien coûte GPTCache pour une équipe ou en production ?
Aucun coût de licence ; vous payez le modèle d'embeddings, la base vectorielle et, le cas échéant, les appels à l'API TypeSafe pour chaque candidat du cache.
GPTCache est-il sûr pour les données de l’entreprise ?
Les prompts et réponses en cache restent dans le stockage que vous configurez, non chiffrés sauf si ce stockage les chiffre. Le JevEvaluation optionnel envoie la requête et la réponse candidate à api.typesafe.ai.
Quelles sont les meilleures alternatives à GPTCache ?
Les alternatives les plus proches que nous avons testées sont LiteLLM, Bifrost et Portkey AI Gateway.

Réponses vérifiées le 20 nov. 2026.