Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Prompt caching

Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.

Aussi appelé : cached input tokens, context caching

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Beaucoup d'applications envoient sans cesse le même texte d'ouverture : instructions, définitions d'outils, un long document ou les échanges précédents d'une conversation. Normalement, le modèle traite tout cela à chaque requête. Avec le prompt caching, le fournisseur conserve pendant un court moment l'état calculé pour ce préfixe, et une requête ultérieure avec un préfixe identique le réutilise. La documentation d'Anthropic décrit cela comme le fait de permettre à l'API de reprendre à partir de préfixes précis de vos prompts.

Comment les fournisseurs procèdent

Les détails varient. Sur l'API Claude, vous marquez les points de cache avec `cache_control` ou activez la mise en cache automatique ; les entrées de cache durent 5 minutes par défaut, avec une option de 1 heure moyennant un surcoût. Les écritures en cache coûtent plus cher qu'une entrée normale et les lectures en cache beaucoup moins : par défaut 0,1 fois le prix de base de l'entrée, avec des multiplicateurs plus bas pour certains modèles. OpenAI met automatiquement en cache les préfixes correspondants dès qu'un prompt est assez long ; sa documentation indique un minimum de 1 024 tokens pour GPT-5.6 et les versions ultérieures. Google appelle cette fonctionnalité context caching.

Comment obtenir des hits de cache

Seule une correspondance exacte du préfixe compte. Placez le contenu stable en premier et le contenu variable, comme la question de l'utilisateur, en dernier. Un horodatage ou une liste d'outils réordonnée en tête du prompt invalide le cache pour tout ce qui suit. Vérifiez les champs d'usage dans les réponses pour confirmer que les tokens en cache sont bien comptés.

À distinguer des autres caches

Le KV cache est l'état en mémoire au sein d'une seule génération ; le prompt caching en conserve une version d'une requête à l'autre. Un cache sémantique est encore autre chose : votre propre système renvoie une réponse stockée pour une question similaire sans appeler le modèle. Pour les effets sur les coûts, voir la tarification au token.

Termes liés

Tarification au token
La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Cache sémantique
Un cache sémantique (semantic cache) stocke les réponses passées d'un LLM et en renvoie une quand une nouvelle requête signifie à peu près la même chose qu'une précédente, d'après la similarité des embeddings plutôt qu'une correspondance exacte du texte. Il économise du coût et de la latence sur les questions répétées.
Context engineering
Le context engineering (ingénierie du contexte) consiste à choisir et entretenir tout ce qui entre dans la fenêtre de contexte d'un modèle de langage au cours d'une tâche : instructions, documents récupérés, définitions d'outils, résultats d'outils et historique de la conversation.
Time to first token
Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.

Sources