Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Cache sémantique

Un cache sémantique (semantic cache) stocke les réponses passées d'un LLM et en renvoie une quand une nouvelle requête signifie à peu près la même chose qu'une précédente, d'après la similarité des embeddings plutôt qu'une correspondance exacte du texte. Il économise du coût et de la latence sur les questions répétées.

Aussi appelé : semantic caching

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Un cache classique n'aide que si une requête est identique octet pour octet à une précédente. Les gens posent rarement deux fois la même question de la même façon, si bien qu'un cache à correspondance exacte rate la plupart des répétitions dans une application de chat ou de support. Un cache sémantique compare plutôt le sens.

Comment ça marche

Chaque prompt entrant est transformé en embedding. Le cache lance une recherche vectorielle sur les embeddings des prompts précédents. Si le plus proche est suffisamment similaire, mesuré par exemple par la similarité cosinus par rapport à un seuil que vous choisissez, la réponse stockée est renvoyée et le modèle n'est jamais appelé. Sinon, la requête part vers le modèle et la nouvelle paire est stockée. L'outil open source GPTCache suit cette conception, et de nombreuses passerelles LLM et bases vectorielles comme Redis la proposent comme fonctionnalité.

Cache sémantique ou prompt caching

Le prompt caching est assuré par le fournisseur du modèle. Il réutilise l'état calculé pour un préfixe de prompt identique, exécute quand même le modèle et renvoie quand même une réponse nouvelle. Un cache sémantique se place devant le modèle et évite complètement l'appel, en renvoyant une ancienne réponse.

Limites

Le seuil est la partie difficile. Trop permissif, et « annuler ma commande » peut renvoyer la réponse stockée pour « suivre ma commande ». Trop strict, et peu de requêtes trouvent une entrée en cache. Les réponses en cache peuvent aussi devenir obsolètes, divulguer la réponse personnalisée d'un utilisateur à un autre ou ignorer le contexte de la conversation : le cache sémantique convient donc mieux aux questions partagées et sans état (FAQ, recherches dans la documentation) qu'aux conversations personnelles ou à plusieurs tours. Cloisonnez le cache par tenant quand les données sont privées, et fixez une durée d'expiration.

Termes liés

Prompt caching
Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
Passerelle LLM
Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
Embedding
Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.
Recherche vectorielle
La recherche vectorielle (vector search) trouve des éléments en comparant leurs embeddings à celui d'une requête et en renvoyant les plus proches, si bien que les résultats correspondent par le sens plutôt que par des mots-clés communs.
Similarité cosinus
La similarité cosinus (cosine similarity) mesure la ressemblance entre deux vecteurs par l'angle qu'ils forment. Elle va de -1 à 1, ignore la longueur des vecteurs et constitue la façon la plus courante de comparer des embeddings en recherche.

Sources