Semantic Cache
Ein Semantic Cache (semantischer Cache) speichert frühere LLM-Antworten und gibt eine davon zurück, wenn eine neue Anfrage ungefähr dasselbe meint wie eine frühere, beurteilt nach Embedding-Ähnlichkeit statt nach exakter Textübereinstimmung. Er spart bei wiederholten Fragen Kosten und Latenz.
Auch: semantic caching
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein normaler Cache hilft nur, wenn eine Anfrage Byte für Byte mit einer früheren übereinstimmt. Leute stellen dieselbe Frage selten zweimal auf dieselbe Weise, deshalb verpasst Caching mit exakter Übereinstimmung in einer Chat- oder Support-App die meisten Wiederholungen. Ein Semantic Cache gleicht stattdessen nach Bedeutung ab.
So funktioniert es
Jeder eingehende Prompt wird in ein Embedding verwandelt. Der Cache führt eine Vektorsuche über die Embeddings früherer Prompts aus. Ist der nächstgelegene ähnlich genug, gemessen etwa mit Kosinus-Ähnlichkeit gegen einen von dir gewählten Schwellenwert, wird die gespeicherte Antwort zurückgegeben, und das Modell wird gar nicht aufgerufen. Andernfalls geht die Anfrage an das Modell, und das neue Paar wird gespeichert. Das Open-Source-Projekt GPTCache folgt diesem Aufbau, und viele LLM-Gateways und Vektorspeicher wie Redis bieten es als Funktion an.
Semantic Cache versus Prompt Caching
Prompt Caching übernimmt der Modellanbieter. Es verwendet den berechneten Zustand für ein identisches Prompt-Präfix wieder, lässt das Modell aber trotzdem laufen und liefert eine frische Antwort. Ein Semantic Cache sitzt vor dem Modell, spart den Aufruf ganz und gibt eine alte Antwort zurück.
Grenzen
Der Schwellenwert ist das Schwierige. Ist er zu locker, liefert „storniere meine Bestellung“ womöglich die Antwort, die für „verfolge meine Bestellung“ gespeichert wurde. Ist er zu streng, treffen wenige Anfragen den Cache. Gecachte Antworten können außerdem veralten, die personalisierte Antwort eines Nutzers an einen anderen weitergeben oder den Gesprächskontext ignorieren. Semantisches Caching passt deshalb besser zu zustandslosen, gemeinsamen Fragen (FAQs, Nachschlagen in Dokumentation) als zu persönlichen Chats oder Chats über mehrere Runden. Begrenze den Cache pro Mandant, wo Daten privat sind, und setze ein Ablaufdatum.
Verwandte Begriffe
- Prompt Caching
- Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
- LLM-Gateway
- Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Vektorsuche
- Vektorsuche (Vector Search) findet Einträge, indem sie ihre Embeddings mit dem Embedding einer Abfrage vergleicht und die nächstgelegenen zurückgibt. Ergebnisse passen so nach Bedeutung statt nach gemeinsamen Stichwörtern.
- Kosinus-Ähnlichkeit
- Die Kosinus-Ähnlichkeit (Cosine Similarity) misst anhand des Winkels zwischen zwei Vektoren, wie ähnlich sie sind. Sie reicht von -1 bis 1, ignoriert die Vektorlänge und ist der gängigste Weg, Embeddings in der Suche zu vergleichen.