セマンティックキャッシュ
セマンティックキャッシュ(semantic cache)とは、過去のLLMの応答を保存し、新しいリクエストが以前のものとほぼ同じ意味であれば、テキストの完全一致ではなく埋め込みの類似度で判断してその応答を返す仕組みです。繰り返される質問でコストとレイテンシを節約します。
別名: semantic caching
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
通常のキャッシュが役立つのは、リクエストが以前のものとバイト単位で同一の場合だけです。人が同じ質問を同じ言い方で2度することはまれなため、完全一致のキャッシュでは、チャットやサポートのアプリでの繰り返しのほとんどを取りこぼします。セマンティックキャッシュは、代わりに意味で照合します。
仕組み
届いた各プロンプトを埋め込みに変換します。キャッシュは、以前のプロンプトの埋め込みに対してベクトル検索を実行します。最も近いものが十分に似ていれば、たとえばコサイン類似度を自分で選んだしきい値と比べて判断し、保存された回答を返して、モデルは呼び出しません。そうでなければリクエストはモデルに送られ、新しいペアが保存されます。オープンソースのGPTCacheはこの設計に沿っており、多くのLLMゲートウェイや、Redisな どのベクトルストアが機能として提供しています。
セマンティックキャッシュとプロンプトキャッシュの違い
プロンプトキャッシュはモデルのプロバイダーが行います。同一のプロンプトのプレフィックスについて計算済みの状態を再利用しますが、モデルは実行され、新しい回答が返ります。セマンティックキャッシュはモデルの手前に位置し、呼び出しを完全に省いて古い回答を返します。
限界
難しいのはしきい値です。緩すぎると、「注文をキャンセルしたい」に「注文を追跡したい」用に保存された回答が返るかもしれません。厳しすぎると、キャッシュに当たるリクエストがほとんどなくなります。キャッシュされた回答は古くなったり、あるユーザー向けにパーソナライズされた回答を別のユーザーに漏らしたり、会話の文脈を無視したりすることもあります。そのため、セマンティックキャッシュは、個人的なチャットや複数ターンのチャットより、状態を持たない共通の質問(FAQ、ドキュメントの参照)に向いています。データが非公開の場合はテナントごとにキャッシュの範囲を分け、有効期限を設定してください。
関連用語
- プロンプトキャッシュ
- プロンプトキャッシュ(prompt caching)とは、長 いシステムプロンプトや文書など、繰り返し使われるプロンプトの先頭部分を処理済みの形で保存するAPIの機能です。同じ先頭部分で始まる後続のリクエストが安く、速くなります。
- LLM ゲートウェイ
- LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- ベクトル検索
- ベクトル検索(vector search)とは、項目の埋め込みをクエリの埋め込みと比較し、最も近いものを返すことで項目を見つける方法です。共通のキーワードではなく意味で一致する結果が得られます。
- コサイン類似度
- コサイン類似度(cosine similarity)とは、2 つのベクトルがどれだけ似ているかを、その間の角度で測る指標です。値は -1 から 1 の範囲で、ベクトルの長さは無視されます。検索で埋め込みを比べる最も一般的な方法です。