Prompt Caching
Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
Auch: cached input tokens, context caching
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Viele Anwendungen schicken immer wieder denselben Anfangstext: Anweisungen, Tool-Definitionen, ein großes Dokument oder die früheren Runden eines Chats. Normalerweise verarbeitet das Modell all das bei jeder Anfrage. Mit Prompt Caching hält der Anbieter den berechneten Zustand für dieses Präfix kurze Zeit vor, und eine spätere Anfrage mit identischem Präfix verwendet ihn wieder. Die Dokumentation von Anthropic beschreibt das so, dass die API an bestimmten Präfixen in deinen Prompts weitermachen kann.
Wie Anbieter es umsetzen
Die Details unterscheiden sich. Bei der Claude API markierst du Cache-Punkte mit `cache_control` oder schaltest automatisches Caching ein; Cache-Einträge halten standardmäßig 5 Minuten, mit einer 1-Stunden-Option gegen Aufpreis. Cache-Schreibvorgänge kosten mehr als normaler Input, Cache-Lesevorgänge viel weniger: standardmäßig das 0,1-Fache des Basis-Inputpreises, bei manchen Modellen mit niedrigeren Faktoren. OpenAI cacht passende Präfixe automatisch, sobald ein Prompt lang genug ist; seine Dokumentation nennt ein Minimum von 1.024 Tokens für GPT-5.6 und neuer. Google nennt die Funktion Context Caching.
Wie du Cache-Treffer bekommst
Nur eine exakte Übereinstimmung des Präfixes zählt. Stell stabile Inhalte an den Anfang und wechselnde Inhalte, etwa die Frage des Nutzers, ans Ende. Ein Zeitstempel oder eine umsortierte Tool-Liste am Anfang des Prompts macht den Cache für alles danach ungültig. Prüfe die Nutzungsfelder in den Antworten, um zu bestätigen, dass gecachte Tokens gezählt werden.
Nicht dasselbe wie andere Caches
Der KV-Cache ist der Zustand im Speicher innerhalb einer Generierung; Prompt Caching bewahrt eine Version davon über Anfragen hinweg auf. Ein Semantic Cache ist wieder etwas anderes: Dein eigenes System liefert für eine ähnliche Frage eine gespeicherte Antwort, ohne das Modell aufzurufen. Zu den Auswirkungen auf die Kosten siehe Token-Preise.
Verwandte Begriffe
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Semantic Cache
- Ein Semantic Cache (semantischer Cache) speichert frühere LLM-Antworten und gibt eine davon zurück, wenn eine neue Anfrage ungefähr dasselbe meint wie eine frühere, beurteilt nach Embedding-Ähnlichkeit statt nach exakter Textübereinstimmung. Er spart bei wiederholten Fragen Kosten und Latenz.
- Context Engineering
- Context Engineering (Kontextgestaltung) ist die Praxis, alles auszuwählen und zu pflegen, was während einer Aufgabe in das Kontextfenster eines Sprachmodells gelangt: Anweisungen, abgerufene Dokumente, Tool-Definitionen, Tool-Ergebnisse und Gesprächsverlauf.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.