本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

GPTCache

ZillizによるLLM呼び出し用のセマンティックキャッシュです。似た質問に保存済みの回答を返しますが、リリースは2024年で止まっています。

レビュー: ReviewRamble editors · 更新

GitHubで見る オープンソース

このページを共有:XLinkedInFacebookRedditWhatsAppメール

当サイトの評価

2.9/5

業界にこの考え方を広めたセマンティックキャッシュですが、今はほぼ休眠状態で、既定の照合は自前の新しいベンチマークで正しい回答より誤った回答を多く返します。

GPTCacheとは?

GPTCacheはLLMの前段に置かれ、新しいリクエストが過去に見たものと似ていれば保存済みの回答を返します。各リクエストを埋め込みに変換し、ベクトルストアで近いものを探し、最も近い候補を再利用してよいかを類似度評価器に判定させます。すべての部品は差し替え可能です。埋め込みはONNX、OpenAI、Cohere、Hugging Face、SentenceTransformers、回答の保存先はSQLite、PostgreSQL、MySQL、DynamoDBなど、ベクトルはMilvus、FAISS、Chroma、Qdrant、pgvectorなど、削除方式はLRU、FIFO、LFUで、メモリ上またはRedisやmemcached経由で動きます。

ベクトルデータベースMilvusを開発するZillizで2023年に始まり、早い段階でLangChainとLlamaIndexに組み込まれました。MITライセンスでPythonで書かれており、他の言語向けにDockerサーバーとしても動かせます。

READMEには現在、新しいAPIやモデルへの対応はもう追加しないと書かれ、汎用のgetとsetの呼び出しを使うよう案内しています。2026年9月には、ある貢献者がAnthropic Messages APIと現行のOpenAIクライアント向けのアダプターに加え、再利用の候補ごとにTypeSafeのホスト型APIへ送って可否を判定させる任意の評価器をマージしました。

GPTCacheは使う価値があるか?

GPTCacheは停滞しています。2026年末に採用するなら、そのことを設計書に明記すべきです。PyPIの最新リリース0.1.44は2024年8月1日に出たもので、その前は2023年11月です。コミットは2023年6月の34件から年に数件まで減り、その後2026年9月22日に10件がまとめて入りました。1人の貢献者によるアダプターとベンチマークで、メンテナーがマージしたものです。未解決のissueは77件、未マージのpull requestは26件あります。READMEはいまだにプロジェクトが「活発に開発中」だと書いており、その2行下には新しいモデルにはもう対応しないという注記があります。

より大きな問題は、あらゆるセマンティックキャッシュに共通するものです。似て見える質問が同じ質問とは限りません。「ドイツでの返金期限は?」と「…フランスでは?」は埋め込みとして近く、両者を一致とみなすキャッシュは、誤りを止めるモデル呼び出しのないまま、自信満々で間違った古い回答を返します。GPTCacheのREADMEは誤検出を認めており、2026年9月のベンチマークはそれを数字で示しています。ラベル付きの1,536組のうち、リポジトリ既定のcross-encoderリランカーは閾値0.80で880件の回答を再利用し、そのうち508件が誤りでした。精度は42.2%です。

同じpull requestは、より厳しい判定役が役立つことも示しています。TypeSafeのホスト型APIを呼ぶ任意のJevEvaluationは、同じデータで精度97.3%〜99.7%、再現率72%〜78%を達成しました。ただしそれは、外部サービスがすべての問い合わせとキャッシュ済み回答を見ること、新たな依存関係、呼び出しごとの費用を意味し、ローカルでキャッシュする理由を損ないます。

注意点:残っているのは、よく設計されてはいるものの古びつつあるツールキットで、価格、規約、アカウント情報、日付のように質問の正確さが重要な用途では、既定の設定は安全ではありません。

結論:完全一致のキャッシュとモデル提供者自身のprompt cachingを組み合わせれば、誤回答のリスクなしに節約の大部分が得られます。セマンティックな照合がどうしても必要なら、LiteLLMやBifrostといったゲートウェイが、今もリリースを続けるプロジェクトの中でそれを提供しています。

真価を発揮する場面

  • 公開FAQボットを持つSaaS企業のサポート責任者

    1日に何千回も聞かれる同じ200の質問に料金を払うのをやめたい

    まずSQLiteで完全一致キャッシュ(埋め込み無効)から始めます。誤回答のリスクはありません。ほぼ重複する質問のサンプルにラベルを付け、誤った再利用がなくなるまで類似度の閾値を上げてから、初めてセマンティック照合を加えます。

  • LLMを使う機能のテストを書く開発者

    実行のたびに有料APIを呼ばずにテストスイートを回したい

    クライアントをGPTCacheの完全一致キャッシュで包み、繰り返されるテスト用プロンプトに保存済みの応答を返させます。初回以降のテストは速く無料になります。プロンプトを変えたらキャッシュを消してください。

  • 社内アシスタント向けにセマンティックキャッシュを評価するプラットフォームエンジニア

    セマンティックキャッシュが誤った質問に答える頻度を測りたい

    examples/benchmarkにある1,536件の再利用ベンチマークを再現し、次に自社の問い合わせペア1週間分を採点します。同梱データでの既定リランカーの精度42.2%が、本番投入前に超えるべき基準です。

導入前に確認すること

導入
完全一致ならpip install gptcacheとcache.init()で済みます。セマンティックモードでは埋め込みモデル(既定はONNX)、ベクトルストア、類似度評価器をコードで設定する必要があり、追加ライブラリは初回利用時にインストールされます。
連携
OpenAIとAnthropic Messagesのクライアント、LangChain、LlamaIndex、llama.cpp、画像と音声のAPI向けアダプター。Dockerサーバーで他の言語からも使えます。
データとプライバシー
キャッシュされたプロンプトと回答は設定したストアに保存され、そのストアが暗号化しない限り暗号化されません。任意のJevEvaluationは問い合わせと候補の回答をapi.typesafe.aiに送ります。
大規模利用時のコスト
ライセンス費用はなく、埋め込みモデル、ベクトルストア、使う場合はキャッシュ候補ごとのTypeSafe API呼び出しに費用がかかります。
制限
メモリ上の削除はバイト数ではなく件数で判断するため、READMEによればメモリ不足を起こすことがあります。すべてのモジュールの組み合わせが互換とは限りません。未解決issue 77件、未マージpull request 26件。

良い点

  • モジュール式で、埋め込み、ストア、ベクトルDB、評価器をすべて差し替え可能
  • SQLiteやFAISSからMilvus、DynamoDBまで幅広いバックエンドに対応
  • 埋め込みを無効にした完全一致モードが使える
  • 再利用の精度と再現率のベンチマークを公開

気になる点

  • 2024年8月以降PyPIのリリースがない
  • 既定のリランカーは自前のベンチマークで880件中508件の誤った回答を再利用
  • READMEで新しいモデルやAPIには対応しないと明言
  • 精度の高い評価器は問い合わせと回答を外部APIに送る

おすすめの人

公開FAQボットのように、繰り返しが多くリスクの低い質問を大量に受け、自社のラベル付きトラフィックで閾値を調整し、フォークを保守する覚悟があるチーム。

GPTCacheの代替

GPTCache:よくある質問

GPTCacheは使う価値があるか?
業界にこの考え方を広めたセマンティックキャッシュですが、今はほぼ休眠状態で、既定の照合は自前の新しいベンチマークで正しい回答より誤った回答を多く返します。 評価は5点満点中2.9点です。
GPTCacheの料金は?
MITライセンスの無料オープンソースです。埋め込みモデル、キャッシュストア、ベクトルストアは自分で運用し、任意のTypeSafe評価器には専用のAPIキーが必要です。
GPTCacheの欠点は?
2024年8月以降PyPIのリリースがない; 既定のリランカーは自前のベンチマークで880件中508件の誤った回答を再利用; READMEで新しいモデルやAPIには対応しないと明言; 精度の高い評価器は問い合わせと回答を外部APIに送る.
GPTCacheは誰に向いているか?
公開FAQボットのように、繰り返しが多くリスクの低い質問を大量に受け、自社のラベル付きトラフィックで閾値を調整し、フォークを保守する覚悟があるチーム。
チームや本番環境でGPTCacheを使うと費用はいくらか?
ライセンス費用はなく、埋め込みモデル、ベクトルストア、使う場合はキャッシュ候補ごとのTypeSafe API呼び出しに費用がかかります。
GPTCacheは企業データを扱っても安全か?
キャッシュされたプロンプトと回答は設定したストアに保存され、そのストアが暗号化しない限り暗号化されません。任意のJevEvaluationは問い合わせと候補の回答をapi.typesafe.aiに送ります。
GPTCacheの代わりになるものは?
当サイトでレビューした中で最も近い代替はLiteLLM, Bifrost 、 Portkey AI Gatewayです。

回答確認日:2026年11月20日