Cache sémantique
Un cache sémantique (semantic cache) stocke les réponses passées d'un LLM et en renvoie une quand une nouvelle requête signifie à peu près la même chose qu'une précédente, d'après la similarité des embeddings plutôt qu'une correspondance exacte du texte. Il économise du coût et de la latence sur les questions répétées.
Aussi appelé : semantic caching
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un cache classique n'aide que si une requête est identique octet pour octet à une précédente. Les gens posent rarement deux fois la même question de la même façon, si bien qu'un cache à correspondance exacte rate la plupart des répétitions dans une application de chat ou de support. Un cache sémantique compare plutôt le sens.
Comment ça marche
Chaque prompt entrant est transformé en embedding. Le cache lance une recherche vectorielle sur les embeddings des prompts précédents. Si le plus proche est suffisamment similaire, mesuré par exemple par la similarité cosinus par rapport à un seuil que vous choisissez, la réponse stockée est renvoyée et le modèle n'est jamais appelé. Sinon, la requête part vers le modèle et la nouvelle paire est stockée. L'outil open source GPTCache suit cette conception, et de nombreuses passerelles LLM et bases vectorielles comme Redis la proposent comme fonctionnalité.
Cache sémantique ou prompt caching
Le prompt caching est assuré par le fournisseur du modèle. Il réutilise l'état calculé pour un préfixe de prompt identique, exécute quand même le modèle et renvoie quand même une réponse nouvelle. Un cache sémantique se place devant le modèle et évite complètement l'appel, en renvoyant une ancienne réponse.
Limites
Le seuil est la partie difficile. Trop permissif, et « annuler ma commande » peut renvoyer la réponse stockée pour « suivre ma commande ». Trop strict, et peu de requêtes trouvent une entrée en cache. Les réponses en cache peuvent aussi devenir obsolètes, divulguer la réponse personnalisée d'un utilisateur à un autre ou ignorer le contexte de la conversation : le cache sémantique convient donc mieux aux questions partagées et sans état (FAQ, recherches dans la documentation) qu'aux conversations personnelles ou à plusieurs tours. Cloisonnez le cache par tenant quand les données sont privées, et fixez une durée d'expiration.
Termes liés
- Prompt caching
- Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
- Passerelle LLM
- Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
- Embedding
- Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.
- Recherche vectorielle
- La recherche vectorielle (vector search) trouve des éléments en comparant leurs embeddings à celui d'une requête et en renvoyant les plus proches, si bien que les résultats correspondent par le sens plutôt que par des mots-clés communs.
- Similarité cosinus
- La similarité cosinus (cosine similarity) mesure la ressemblance entre deux vecteurs par l'angle qu'ils forment. Elle va de -1 à 1, ignore la longueur des vecteurs et constitue la façon la plus courante de comparer des embeddings en recherche.