Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

GPTCache

O cache semântico da Zilliz para chamadas de LLM: responde perguntas parecidas com respostas guardadas, mas as versões pararam em 2024.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

2.9/5

Um cache semântico que ensinou a ideia ao setor, agora quase parado, e cuja correspondência padrão devolveria a resposta errada com mais frequência do que a certa no seu próprio benchmark novo.

O que é GPTCache?

O GPTCache fica na frente de um LLM e devolve uma resposta guardada quando uma requisição nova se parece com uma que já viu. Ele transforma cada requisição em um embedding, busca vizinhos próximos em um banco vetorial e pede a um avaliador de similaridade que decida se a correspondência mais próxima é boa o bastante para reutilizar. Cada parte é substituível: embeddings de ONNX, OpenAI, Cohere, Hugging Face ou SentenceTransformers; respostas em SQLite, PostgreSQL, MySQL, DynamoDB e outros; vetores em Milvus, FAISS, Chroma, Qdrant, pgvector e mais; descarte por LRU, FIFO ou LFU, em memória ou via Redis ou memcached.

Nasceu em 2023 na Zilliz, a empresa por trás do banco vetorial Milvus, e foi integrado cedo ao LangChain e ao LlamaIndex. Tem licença MIT, é escrito em Python e também pode rodar como servidor Docker para outras linguagens.

O README agora diz que o projeto não adiciona mais suporte a novas APIs ou modelos e aponta para chamadas genéricas get e set. Em setembro de 2026 um colaborador incorporou adaptadores para a API Messages da Anthropic e o cliente atual da OpenAI, além de um avaliador opcional que envia cada reutilização candidata à API hospedada da TypeSafe para um sim ou não.

GPTCache vale a pena?

O GPTCache está estagnado, e quem adotá-lo no fim de 2026 deveria registrar isso no documento de design. A última versão no PyPI, 0.1.44, saiu em 1 de agosto de 2024, e a anterior em novembro de 2023. Os commits caíram de 34 em junho de 2023 para um punhado por ano, e então veio uma rajada de 10 em 22 de setembro de 2026: adaptadores e um benchmark de um único colaborador, incorporados por um mantenedor. Há 77 issues abertas e 26 pull requests abertos. O README ainda diz que o projeto está "em desenvolvimento intenso" duas linhas acima de uma nota dizendo que ele não suporta mais modelos novos.

O problema maior é o de todo cache semântico: uma pergunta que parece semelhante nem sempre é a mesma pergunta. "Qual é o nosso prazo de reembolso na Alemanha?" e "...na França?" ficam próximas como embeddings, e um cache que as associa entrega uma resposta confiante, errada e desatualizada, sem nenhuma chamada ao modelo para pegar o erro. O README do GPTCache reconhece falsos positivos; o benchmark de setembro de 2026 dá um número a eles. Em 1,536 pares rotulados, o reranker cross-encoder padrão do repositório, no limiar de 0.80, reutilizou 880 respostas, e 508 dessas reutilizações estavam erradas, uma precisão de 42.2%.

O mesmo pull request mostra que um juiz mais rigoroso ajuda: o JevEvaluation opcional, que chama a API hospedada da TypeSafe, chegou a 97.3% a 99.7% de precisão no mesmo conjunto, mantendo 72% a 78% de recall. Isso significa um serviço de terceiros vendo cada consulta e cada resposta em cache, uma dependência nova e um custo por chamada, o que contraria o motivo de fazer cache localmente.

O porém: o que sobra é um kit bem projetado, mas envelhecido, cujas configurações padrão não são seguras para nada em que a pergunta exata importe, como preços, políticas, dados de conta ou datas.

Nossa opinião: um cache de correspondência exata mais o prompt caching do próprio provedor do modelo captura a maior parte da economia sem nenhum risco de resposta errada. Se a correspondência semântica for mesmo necessária, gateways como LiteLLM e Bifrost já a oferecem dentro de projetos que continuam lançando versões.

Onde ele se destaca

  • Uma líder de suporte em uma empresa SaaS com bot público de FAQ

    Parar de pagar pelas mesmas 200 perguntas feitas milhares de vezes por dia

    Comece com cache de correspondência exata (embeddings desligados) em SQLite, sem risco de resposta errada. Adicione correspondência semântica só depois de rotular uma amostra de perguntas quase duplicadas e subir o limiar de similaridade até as reutilizações erradas pararem.

  • Um desenvolvedor escrevendo testes para uma funcionalidade baseada em LLM

    Rodar a suíte de testes sem chamar a API paga a cada execução

    Envolva o cliente com o cache de correspondência exata do GPTCache para que prompts de teste repetidos devolvam respostas guardadas. Depois da primeira passada, as execuções ficam rápidas e gratuitas; limpe o cache quando os prompts mudarem.

  • Um engenheiro de plataforma avaliando cache semântico para um assistente interno

    Medir com que frequência um cache semântico responderia à pergunta errada

    Reproduza o benchmark de reutilização de 1,536 casos em examples/benchmark e depois pontue uma semana de pares de consultas da própria empresa. A precisão de 42.2% do reranker padrão no conjunto incluído é a referência a superar antes de qualquer coisa ir ao ar.

Antes de decidir

Configuração
pip install gptcache e cache.init() para correspondência exata; o modo semântico precisa de um modelo de embeddings (ONNX por padrão), um banco vetorial e um avaliador de similaridade configurados em código, e bibliotecas extras são instaladas no primeiro uso.
Integrações
Adaptadores para os clientes da OpenAI e da Anthropic Messages, LangChain, LlamaIndex, llama.cpp e APIs de imagem e áudio; um servidor Docker o expõe a outras linguagens.
Dados e privacidade
Prompts e respostas em cache ficam no armazenamento que você configurar, sem criptografia a menos que esse armazenamento criptografe. O JevEvaluation opcional envia a consulta e a resposta candidata para api.typesafe.ai.
Custo em escala
Sem custo de licença; você paga o modelo de embeddings, o banco vetorial e, se usar, as chamadas à API da TypeSafe para cada candidato do cache.
Limites
O descarte em memória conta entradas, não bytes, o que segundo o README pode causar erros de falta de memória; nem todas as combinações de módulos são compatíveis; 77 issues e 26 pull requests abertos.

O que é bom

  • Modular: embeddings, armazenamentos, bancos vetoriais e avaliadores substituíveis
  • Amplo suporte a backends, de SQLite e FAISS a Milvus e DynamoDB
  • O modo de correspondência exata funciona com embeddings desligados
  • Benchmark publicado de precisão e recall de reutilização

O que não é

  • Sem versão no PyPI desde agosto de 2024
  • O reranker padrão reutilizou respostas erradas 508 vezes em 880 no próprio benchmark
  • O README diz que não haverá suporte a novos modelos ou APIs
  • O avaliador preciso envia consultas e respostas a uma API de terceiros

Ideal para

Times com grande volume de perguntas repetidas e de baixo risco, como bots públicos de FAQ, dispostos a ajustar limiares com o próprio tráfego rotulado e a manter um fork.

Alternativas ao GPTCache

GPTCache: perguntas frequentes

GPTCache vale a pena?
Um cache semântico que ensinou a ideia ao setor, agora quase parado, e cuja correspondência padrão devolveria a resposta errada com mais frequência do que a certa no seu próprio benchmark novo. Damos nota 2.9 de 5.
Quanto custa GPTCache?
Gratuito e open source sob MIT. Você roda o modelo de embeddings, o armazenamento do cache e o banco vetorial; o avaliador opcional da TypeSafe precisa de chave de API própria.
Quais são as desvantagens de GPTCache?
Sem versão no PyPI desde agosto de 2024; o reranker padrão reutilizou respostas erradas 508 vezes em 880 no próprio benchmark; o README diz que não haverá suporte a novos modelos ou APIs; o avaliador preciso envia consultas e respostas a uma API de terceiros.
Para quem GPTCache é indicado?
Times com grande volume de perguntas repetidas e de baixo risco, como bots públicos de FAQ, dispostos a ajustar limiares com o próprio tráfego rotulado e a manter um fork.
Quanto custa GPTCache para uma equipe ou em produção?
Sem custo de licença; você paga o modelo de embeddings, o banco vetorial e, se usar, as chamadas à API da TypeSafe para cada candidato do cache.
GPTCache é seguro para dados da empresa?
Prompts e respostas em cache ficam no armazenamento que você configurar, sem criptografia a menos que esse armazenamento criptografe. O JevEvaluation opcional envia a consulta e a resposta candidata para api.typesafe.ai.
Quais são as melhores alternativas ao GPTCache?
As alternativas mais próximas que analisamos são LiteLLM, Bifrost e Portkey AI Gateway.

Respostas verificadas em 20 de nov. de 2026.