Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Semantic cache

Um semantic cache (cache semântico) guarda respostas anteriores de um LLM e devolve uma delas quando uma nova requisição significa mais ou menos o mesmo que uma anterior, julgado por similaridade de embeddings em vez de correspondência exata de texto. Ele economiza custo e latência em perguntas repetidas.

Também chamado: semantic caching

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Um cache comum só ajuda quando uma requisição é idêntica, byte a byte, a uma anterior. As pessoas raramente fazem a mesma pergunta do mesmo jeito duas vezes, então o cache por correspondência exata perde a maioria das repetições em um app de chat ou de suporte. Um semantic cache compara pelo significado.

Como funciona

Cada prompt que chega é transformado em um embedding. O cache faz uma busca vetorial nos embeddings dos prompts anteriores. Se o mais próximo for parecido o bastante, medido por exemplo com similaridade de cosseno contra um limite que você escolhe, a resposta guardada é devolvida e o modelo nunca é chamado. Caso contrário, a requisição vai para o modelo e o novo par é guardado. O GPTCache, open source, segue esse design, e muitos LLM gateways e vector stores como o Redis o oferecem como recurso.

Semantic cache versus prompt caching

O prompt caching é feito pelo provedor do modelo. Ele reutiliza o estado calculado para um prefixo de prompt idêntico, ainda roda o modelo e ainda devolve uma resposta nova. Um semantic cache fica na frente do modelo e pula a chamada por completo, devolvendo uma resposta antiga.

Limites

O limite de similaridade é a parte difícil. Solto demais, e "cancelar meu pedido" pode devolver a resposta guardada para "rastrear meu pedido". Rígido demais, e poucas requisições acertam o cache. Respostas em cache também podem ficar desatualizadas, vazar a resposta personalizada de um usuário para outro ou ignorar o contexto da conversa, então o cache semântico combina mais com perguntas compartilhadas e sem estado (FAQs, consultas à documentação) do que com chats pessoais ou de vários turnos. Separe o cache por tenant quando os dados forem privados, e defina uma expiração.

Termos relacionados

Prompt caching
Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
LLM gateway
Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
Embedding
Um embedding (representação vetorial) é uma lista de números (um vetor) que representa um trecho de texto, uma imagem ou outros dados, produzida de forma que itens com significado parecido acabem com vetores próximos entre si.
Busca vetorial
A busca vetorial (vector search) encontra itens comparando seus embeddings com o embedding de uma consulta e devolvendo os mais próximos, para que os resultados correspondam pelo significado e não por palavras-chave em comum.
Similaridade de cosseno
A similaridade de cosseno (cosine similarity) mede o quanto dois vetores se parecem pelo ângulo entre eles. Ela vai de -1 a 1, ignora o comprimento dos vetores e é a forma mais comum de comparar embeddings em buscas.

Fontes