Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Prompt Caching

Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.

Auch: cached input tokens, context caching

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Viele Anwendungen schicken immer wieder denselben Anfangstext: Anweisungen, Tool-Definitionen, ein großes Dokument oder die früheren Runden eines Chats. Normalerweise verarbeitet das Modell all das bei jeder Anfrage. Mit Prompt Caching hält der Anbieter den berechneten Zustand für dieses Präfix kurze Zeit vor, und eine spätere Anfrage mit identischem Präfix verwendet ihn wieder. Die Dokumentation von Anthropic beschreibt das so, dass die API an bestimmten Präfixen in deinen Prompts weitermachen kann.

Wie Anbieter es umsetzen

Die Details unterscheiden sich. Bei der Claude API markierst du Cache-Punkte mit `cache_control` oder schaltest automatisches Caching ein; Cache-Einträge halten standardmäßig 5 Minuten, mit einer 1-Stunden-Option gegen Aufpreis. Cache-Schreibvorgänge kosten mehr als normaler Input, Cache-Lesevorgänge viel weniger: standardmäßig das 0,1-Fache des Basis-Inputpreises, bei manchen Modellen mit niedrigeren Faktoren. OpenAI cacht passende Präfixe automatisch, sobald ein Prompt lang genug ist; seine Dokumentation nennt ein Minimum von 1.024 Tokens für GPT-5.6 und neuer. Google nennt die Funktion Context Caching.

Wie du Cache-Treffer bekommst

Nur eine exakte Übereinstimmung des Präfixes zählt. Stell stabile Inhalte an den Anfang und wechselnde Inhalte, etwa die Frage des Nutzers, ans Ende. Ein Zeitstempel oder eine umsortierte Tool-Liste am Anfang des Prompts macht den Cache für alles danach ungültig. Prüfe die Nutzungsfelder in den Antworten, um zu bestätigen, dass gecachte Tokens gezählt werden.

Nicht dasselbe wie andere Caches

Der KV-Cache ist der Zustand im Speicher innerhalb einer Generierung; Prompt Caching bewahrt eine Version davon über Anfragen hinweg auf. Ein Semantic Cache ist wieder etwas anderes: Dein eigenes System liefert für eine ähnliche Frage eine gespeicherte Antwort, ohne das Modell aufzurufen. Zu den Auswirkungen auf die Kosten siehe Token-Preise.

Verwandte Begriffe

Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Semantic Cache
Ein Semantic Cache (semantischer Cache) speichert frühere LLM-Antworten und gibt eine davon zurück, wenn eine neue Anfrage ungefähr dasselbe meint wie eine frühere, beurteilt nach Embedding-Ähnlichkeit statt nach exakter Textübereinstimmung. Er spart bei wiederholten Fragen Kosten und Latenz.
Context Engineering
Context Engineering (Kontextgestaltung) ist die Praxis, alles auszuwählen und zu pflegen, was während einer Aufgabe in das Kontextfenster eines Sprachmodells gelangt: Anweisungen, abgerufene Dokumente, Tool-Definitionen, Tool-Ergebnisse und Gesprächsverlauf.
Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.

Quellen