Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

GPTCache

Zilliz' semantischer Cache für LLM-Aufrufe: beantwortet ähnliche Fragen mit gespeicherten Antworten, doch die Releases endeten 2024.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

2.9/5

Ein semantischer Cache, der der Branche die Idee beigebracht hat, inzwischen weitgehend ruhend, und dessen Standardabgleich auf dem eigenen neuen Benchmark öfter die falsche als die richtige Antwort liefern würde.

Was ist GPTCache?

GPTCache sitzt vor einem LLM und liefert eine gespeicherte Antwort, wenn eine neue Anfrage einer bereits gesehenen ähnelt. Es wandelt jede Anfrage in ein Embedding um, sucht in einem Vektorspeicher nach nahen Nachbarn und lässt einen Ähnlichkeitsbewerter entscheiden, ob der nächste Treffer nah genug ist, um ihn wiederzuverwenden. Jeder Teil ist austauschbar: Embeddings von ONNX, OpenAI, Cohere, Hugging Face oder SentenceTransformers; Antworten in SQLite, PostgreSQL, MySQL, DynamoDB und anderen; Vektoren in Milvus, FAISS, Chroma, Qdrant, pgvector und weiteren; Verdrängung per LRU, FIFO oder LFU, im Speicher oder über Redis oder memcached.

Es entstand 2023 bei Zilliz, dem Unternehmen hinter der Vektordatenbank Milvus, und wurde früh in LangChain und LlamaIndex eingebunden. Es steht unter MIT-Lizenz, ist in Python geschrieben und läuft auch als Docker-Server für andere Sprachen.

Das README sagt inzwischen, dass das Projekt keine Unterstützung für neue APIs oder Modelle mehr hinzufügt, und verweist auf generische get- und set-Aufrufe. Im September 2026 hat ein Mitwirkender Adapter für die Anthropic Messages API und den aktuellen OpenAI-Client eingebracht, dazu einen optionalen Bewerter, der jede mögliche Wiederverwendung zur Ja-oder-Nein-Entscheidung an die gehostete API von TypeSafe schickt.

Lohnt sich GPTCache?

GPTCache stagniert, und wer es Ende 2026 einsetzt, sollte das im Designdokument festhalten. Das letzte PyPI-Release, 0.1.44, erschien am 1. August 2024, das davor im November 2023. Die Commits fielen von 34 im Juni 2023 auf eine Handvoll pro Jahr, dann folgte am 22. September 2026 ein Schub von 10: Adapter und ein Benchmark von einem einzigen Mitwirkenden, von einem Maintainer gemergt. Offen sind 77 Issues und 26 Pull Requests. Das README behauptet weiterhin, das Projekt sei "in intensiver Entwicklung", zwei Zeilen über einem Hinweis, dass es keine neuen Modelle mehr unterstützt.

Das größere Problem hat jeder semantische Cache: Eine Frage, die ähnlich aussieht, ist nicht immer dieselbe Frage. "Wie lange ist unsere Rückerstattungsfrist in Deutschland?" und "...in Frankreich?" liegen als Embeddings nah beieinander, und ein Cache, der sie gleichsetzt, liefert eine selbstsichere, falsche, veraltete Antwort, ohne dass ein Modellaufruf den Fehler abfängt. Das README von GPTCache räumt Fehltreffer ein; der Benchmark vom September 2026 beziffert sie. Auf 1.536 gelabelten Paaren hat der Standard-Cross-Encoder-Reranker des Repositorys bei seinem Schwellenwert von 0,80 880 Antworten wiederverwendet, und 508 dieser Wiederverwendungen waren falsch, eine Präzision von 42,2 %.

Derselbe Pull Request zeigt, dass ein strengerer Richter hilft: Die optionale JevEvaluation, die die gehostete API von TypeSafe aufruft, erreichte auf demselben Satz 97,3 % bis 99,7 % Präzision bei 72 % bis 78 % Recall. Das bedeutet einen Drittanbieterdienst, der jede Anfrage und jede gecachte Antwort sieht, eine neue Abhängigkeit und Kosten pro Aufruf, was den Grund für lokales Caching untergräbt.

Der Haken: Übrig bleibt ein gut entworfenes, aber alterndes Toolkit, dessen Standardeinstellungen für alles unsicher sind, bei dem die genaue Frage zählt, etwa Preise, Richtlinien, Kontodaten oder Termine.

Unser Fazit: Ein Cache mit exaktem Abgleich plus das Prompt Caching des Modellanbieters holt den Großteil der Ersparnis ohne jedes Risiko falscher Antworten. Wenn semantischer Abgleich wirklich nötig ist, bieten Gateways wie LiteLLM und Bifrost ihn inzwischen in Projekten, die weiterhin Releases veröffentlichen.

Wo es sich lohnt

  • Eine Support-Leiterin bei einem SaaS-Unternehmen mit öffentlichem FAQ-Bot

    Nicht mehr für dieselben 200 Fragen zahlen, die tausendfach am Tag gestellt werden

    Beginne mit exaktem Caching (Embeddings abgeschaltet) in SQLite, das kein Risiko falscher Antworten birgt. Füge semantischen Abgleich erst hinzu, nachdem du eine Stichprobe fast doppelter Fragen gelabelt und den Ähnlichkeitsschwellenwert erhöht hast, bis keine falschen Wiederverwendungen mehr auftreten.

  • Ein Entwickler, der Tests für eine LLM-gestützte Funktion schreibt

    Die Testsuite laufen lassen, ohne bei jedem Lauf die bezahlte API aufzurufen

    Umhülle den Client mit dem exakten Cache von GPTCache, damit wiederholte Test-Prompts gespeicherte Antworten liefern. Nach dem ersten Durchlauf sind Testläufe schnell und kostenlos; leere den Cache, wenn sich Prompts ändern.

  • Ein Plattform-Engineer, der semantisches Caching für einen internen Assistenten prüft

    Messen, wie oft ein semantischer Cache die falsche Frage beantworten würde

    Spiele den Wiederverwendungs-Benchmark mit 1.536 Fällen in examples/benchmark nach und bewerte dann eine Woche eigener Anfragepaare. Die 42,2 % Präzision des Standard-Rerankers auf dem mitgelieferten Satz sind die Messlatte, bevor etwas live geht.

Bevor du dich festlegst

Einrichtung
pip install gptcache und cache.init() für exakten Abgleich; der semantische Modus braucht ein Embedding-Modell (standardmäßig ONNX), einen Vektorspeicher und einen Ähnlichkeitsbewerter, im Code konfiguriert, und zusätzliche Bibliotheken werden bei der ersten Nutzung installiert.
Integrationen
Adapter für die Clients von OpenAI und Anthropic Messages, LangChain, LlamaIndex, llama.cpp sowie Bild- und Audio-APIs; ein Docker-Server macht es für andere Sprachen verfügbar.
Daten und Datenschutz
Gecachte Prompts und Antworten liegen in dem Speicher, den du konfigurierst, unverschlüsselt, sofern dieser Speicher nicht verschlüsselt. Die optionale JevEvaluation schickt Anfrage und Kandidatenantwort an api.typesafe.ai.
Kosten im großen Maßstab
Keine Lizenzkosten; du bezahlst Embedding-Modell, Vektorspeicher und, falls genutzt, TypeSafe-API-Aufrufe für jeden Cache-Kandidaten.
Grenzen
Die Verdrängung im Speicher zählt Einträge, nicht Bytes, was laut README zu Speicherfehlern führen kann; nicht alle Modulkombinationen sind kompatibel; 77 offene Issues und 26 offene Pull Requests.

Was gut ist

  • Modular: Embeddings, Speicher, Vektordatenbanken und Bewerter austauschbar
  • Breite Backend-Unterstützung, von SQLite und FAISS bis Milvus und DynamoDB
  • Exakter Abgleich funktioniert mit abgeschalteten Embeddings
  • Veröffentlichter Benchmark zu Präzision und Recall der Wiederverwendung

Was nicht

  • Kein PyPI-Release seit August 2024
  • Der Standard-Reranker hat im eigenen Benchmark 508 von 880 Mal falsche Antworten wiederverwendet
  • Laut README keine Unterstützung für neue Modelle oder APIs mehr
  • Der genaue Bewerter schickt Anfragen und Antworten an eine Drittanbieter-API

Am besten für

Teams mit vielen wiederkehrenden Fragen bei geringem Risiko, etwa öffentliche FAQ-Bots, die Schwellenwerte an ihrem eigenen gelabelten Verkehr abstimmen und einen Fork pflegen wollen.

Alternativen zu GPTCache

GPTCache: häufige Fragen

Lohnt sich GPTCache?
Ein semantischer Cache, der der Branche die Idee beigebracht hat, inzwischen weitgehend ruhend, und dessen Standardabgleich auf dem eigenen neuen Benchmark öfter die falsche als die richtige Antwort liefern würde. Wir bewerten es mit 2.9 von 5.
Was kostet GPTCache?
Kostenlos und Open Source unter MIT. Embedding-Modell, Cache-Speicher und Vektorspeicher betreibst du selbst; der optionale TypeSafe-Bewerter braucht einen eigenen API-Schlüssel.
Welche Nachteile hat GPTCache?
Kein PyPI-Release seit August 2024; Der Standard-Reranker hat im eigenen Benchmark 508 von 880 Mal falsche Antworten wiederverwendet; Laut README keine Unterstützung für neue Modelle oder APIs mehr; Der genaue Bewerter schickt Anfragen und Antworten an eine Drittanbieter-API.
Für wen eignet sich GPTCache?
Teams mit vielen wiederkehrenden Fragen bei geringem Risiko, etwa öffentliche FAQ-Bots, die Schwellenwerte an ihrem eigenen gelabelten Verkehr abstimmen und einen Fork pflegen wollen.
Was kostet GPTCache für ein Team oder im Produktivbetrieb?
Keine Lizenzkosten; du bezahlst Embedding-Modell, Vektorspeicher und, falls genutzt, TypeSafe-API-Aufrufe für jeden Cache-Kandidaten.
Ist GPTCache sicher für Firmendaten?
Gecachte Prompts und Antworten liegen in dem Speicher, den du konfigurierst, unverschlüsselt, sofern dieser Speicher nicht verschlüsselt. Die optionale JevEvaluation schickt Anfrage und Kandidatenantwort an api.typesafe.ai.
Was sind die besten Alternativen zu GPTCache?
Die nächsten Alternativen, die wir getestet haben, sind LiteLLM, Bifrost und Portkey AI Gateway.

Antworten geprüft am 20. Nov. 2026.