Prompt caching
Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
Também chamado: cached input tokens, context caching
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Muitas aplicações enviam o mesmo texto inicial repetidas vezes: instruções, definições de ferramentas, um documento grande ou os turnos anteriores de um chat. Normalmente o modelo processa tudo isso em toda requisição. Com prompt caching, o provedor guarda por pouco tempo o estado calculado para esse prefixo, e uma requisição posterior com um prefixo idêntico o reutiliza. A documentação da Anthropic descreve isso como permitir que a API retome a partir de prefixos específicos dos seus prompts.
Como os provedores fazem
Os detalhes variam. Na Claude API, você marca pontos de cache com `cache_control` ou ativa o cache automático; as entradas de cache duram 5 minutos por padrão, com uma opção de 1 hora a um custo extra. Escritas no cache custam mais que a entrada normal e leituras do cache custam bem menos: por padrão 0,1 vez o preço base de entrada, com multiplicadores menores para alguns modelos. A OpenAI faz cache de prefixos iguais automaticamente quando o prompt é longo o bastante; sua documentação indica um mínimo de 1.024 tokens para o GPT-5.6 e posteriores. O Google chama o recurso de context caching.
Como conseguir cache hits
Só uma correspondência exata de prefixo conta. Coloque o conteúdo estável primeiro e o conteúdo que muda, como a pergunta do usuário, por último. Um timestamp ou uma lista de ferramentas reordenada no topo do prompt quebra o cache de tudo o que vem depois. Verifique os campos de uso nas respostas para confirmar que os tokens em cache estão sendo contados.
Não é o mesmo que outros caches
O KV cache é o estado em memória dentro de uma geração; o prompt caching guarda uma versão dele entre requisições. Um semantic cache é outra coisa: o seu próprio sistema devolve uma resposta guardada para uma pergunta parecida sem chamar o modelo. Para os efeitos no custo, veja preço por token.
Termos relacionados
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Semantic cache
- Um semantic cache (cache semântico) guarda respostas anteriores de um LLM e devolve uma delas quando uma nova requisição significa mais ou menos o mesmo que uma anterior, julgado por similaridade de embeddings em vez de correspondência exata de texto. Ele economiza custo e latência em perguntas repetidas.
- Context engineering
- Context engineering (engenharia de contexto) é a prática de escolher e manter tudo o que entra na janela de contexto de um modelo de linguagem durante uma tarefa: instruções, documentos recuperados, definições de ferramentas, resultados de ferramentas e histórico da conversa.
- Time to first token
- Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.