プロンプトキャッシュ
プロンプトキャッシュ(prompt caching)とは、長いシステムプロンプトや文書など、繰り返し使われるプロンプトの先頭部分を処理済みの形で保存するAPIの機能です。同じ先頭部分で始まる後続のリクエストが安く、速くなります。
別名: cached input tokens, context caching
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
多くのアプリケーションは、同じ冒頭のテキストを何度も送ります。指示、ツールの定義、大きな文書、チャットのそれまでのやり取りなどです。通常、モデルはリクエストのたびにそのすべてを処理します。プロンプトキャッシュを使うと、プロバイダーはその先頭部分について計算した状態を短期間保持し、先頭部分が同一の後続リクエストでそれを再利用します。Anthropicのドキュメントはこれを、APIがプロンプト内の特定のプレフィックスから処理を再開できるようにするものと説明しています。
プロバイダーごとの実装
詳細は異なります。Claude APIでは`cache_control`でキャッシュポイントを指定するか、自動キャッシュを有効にします。キャッシュのエントリは既定で5分間持続し、追加料金で1時間のオプションもあります。キャッシュへの書き込みは通常の入力より高く、読み込みははるかに安くなります。既定では基本入力料金の0.1倍で、一部のモデルではさらに低い倍率です。OpenAIは、プロンプトが十分に長くなると一致するプレフィックスを自動的にキャッシュします。ドキュメントでは、GPT-5.6以降で最低1,024トークンとしています。Googleはこの機能をcontext cachingと呼んでいます。
キャッシュヒットを得る方法
数えられるのはプレフィックスの完全一致だけです。変わらない内容を先に、ユーザーの質問のような変わる内容を最後に置いてください。プロンプトの先頭にタイムスタンプがあったりツールの一覧の順序が変わったりすると、それ以降のすべてのキャッシュが無効になります。レスポンスの使用量の項目を確認し、キャッシュされたトークンが数えられていることを確かめてください。
ほかのキャッシュとの違い
KV cacheは1回の生成の中でメモリ上に保持される状態で、プロンプトキャッシュはその一種をリクエストをまたいで保持します。セマンティックキャッシュはまた別物で、自分のシステムが、似た質問に対してモデルを呼ばずに保存済みの回答を返します。コストへの影響についてはトークン料金をご覧ください。
関連用語
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- セマンティックキャッシュ
- セマンティックキャッシュ(semantic cache)とは、過去のLLMの応答を保存し、新しいリクエストが以前のものとほぼ同じ意味であれば、テキストの完全一致ではなく埋め込みの類似度で判断してその応答を返す仕組みです。繰り返される質問でコストとレイテンシを節約します。
- コンテキストエンジニアリング
- コンテキストエンジニアリング(context engineering)とは、タスクの間に言語モデルのコンテキストウィンドウに入るすべてのもの、つまり指示、取得した文書、ツールの定義、ツールの結果、会話の履歴を選び、管理する取り組みです。
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。