GPTCache의 개요
GPTCache는 LLM 앞단에 자리 잡고, 새 요청이 이전에 본 요청과 비슷하면 저장된 답을 돌려줍니다. 각 요청을 임베딩으로 바꾸고, 벡터 저장소에서 가까운 이웃을 찾은 뒤, 가장 가까운 후보를 재사용해도 될지 유사도 평가기에 묻습니다. 모든 부분을 바꿀 수 있습니다. 임베딩은 ONNX, OpenAI, Cohere, Hugging Face, SentenceTransformers, 답변 저장은 SQLite, PostgreSQL, MySQL, DynamoDB 등, 벡터는 Milvus, FAISS, Chroma, Qdrant, pgvector 등, 축출 방식은 LRU, FIFO, LFU이며 메모리나 Redis, memcached로 동작합니다.
벡터 데이터베이스 Milvus를 만든 Zilliz에서 2023년에 시작했고, 일찍부터 LangChain과 LlamaIndex에 통합되었습니다. MIT 라이선스이며 Python으로 작성되었고, 다른 언어를 위해 Docker 서버로도 실행할 수 있습니다.
현재 README는 새 API나 모델 지원을 더 이상 추가하지 않는다고 밝히며 범용 get과 set 호출을 쓰라고 안내합니다. 2026년 9월에는 한 기여자가 Anthropic Messages API와 현재 OpenAI 클라이언트용 어댑터, 그리고 재사용 후보마다 TypeSafe의 호스팅 API에 보내 예 또는 아니요를 받는 선택형 평가기를 병합했습니다.
GPTCache, 쓸 만한 가치가 있습니까?
GPTCache는 정체되어 있으며, 2026년 말에 도입한다면 설계 문서에 그 사실을 적어야 합니다. PyPI의 마지막 릴리스 0.1.44는 2024년 8월 1일에 나왔고, 그 전 릴리스는 2023년 11월입니다. 커밋은 2023년 6월 34건에서 1년에 몇 건 수준으로 줄었다가, 2026년 9월 22일 10건이 한꺼번에 들어왔습니다. 한 기여자의 어댑터와 벤치마크를 메인테이너가 병합한 것입니다. 열린 이슈는 77건, 열린 pull request는 26건입니다. README는 여전히 프로젝트가 "활발히 개발 중"이라고 하는데, 그 두 줄 아래에는 새 모델을 더 이상 지원하지 않는다는 안내가 있습니다.
더 큰 문제는 모든 시맨틱 캐시가 가진 문제입니다. 비슷해 보이는 질문이 늘 같은 질문은 아닙니다. "독일에서 환불 기한은?"과 "...프랑스에서는?"은 임베딩으로는 가깝고, 이 둘을 같다고 보는 캐시는 오류를 잡아 줄 모델 호출 없이 자신 있게 틀린, 오래된 답을 내놓습니다. GPTCache의 README도 오탐을 인정하며, 2026년 9월 벤치마크는 이를 수치로 보여 줍니다. 라벨이 붙은 1,536쌍에서 저장소 기본 cross-encoder 리랭커는 임계값 0.80에서 답변 880개를 재사용했고, 그중 508개가 틀렸습니다. 정밀도는 42.2%입니다.
같은 pull request는 더 엄격한 판정자가 도움이 된다는 것도 보여 줍니다. TypeSafe의 호스팅 API를 호출하는 선택형 JevEvaluation은 같은 데이터에서 재현율 72%~78%를 유지하면서 정밀도 97.3%~99.7%에 도달했습니다. 하지만 이는 외부 서비스가 모든 질의와 캐시된 답을 보고, 새 의존성과 호출당 비용이 생긴다는 뜻이어서 로컬 캐시의 이유를 약하게 만듭니다.
주의할 점: 남은 것은 잘 설계되었지만 낡아 가는 툴킷이며, 가격, 정책, 계정 데이터, 날짜처럼 정확한 질문이 중요한 용도에서는 기본 설정이 안전하지 않습니다.
결론: 정확 일치 캐시에 모델 제공자의 prompt caching을 더하면 틀린 답의 위험 없이 절감액 대부분을 얻습니다. 시맨틱 매칭이 정말 필요하다면 LiteLLM과 Bifrost 같은 게이트웨이가 여전히 릴리스를 내는 프로젝트 안에서 이를 제공합니다.
제 역할을 하는 곳
공개 FAQ 봇을 운영하는 SaaS 회사의 지원 책임자
하루 수천 번 반복되는 같은 200개 질문에 돈을 그만 내기
SQLite에서 정확 일치 캐시(임베딩 끔)로 시작하면 틀린 답의 위험이 없습니다. 거의 중복된 질문 샘플에 라벨을 붙이고 틀린 재사용이 사라질 때까지 유사도 임계값을 올린 뒤에만 시맨틱 매칭을 추가하세요.
LLM 기반 기능의 테스트를 작성하는 개발자
실행할 때마다 유료 API를 부르지 않고 테스트 스위트 돌리기
클라이언트를 GPTCache의 정확 일치 캐시로 감싸 반복되는 테스트 프롬프트가 저장된 응답을 받게 합니다. 첫 실행 이후 테스트는 빠르고 무료가 됩니다. 프롬프트가 바뀌면 캐시를 비우세요.
사내 어시스턴트용 시맨틱 캐시를 평가하는 플랫폼 엔지니어
시맨틱 캐시가 엉뚱한 질문에 답하는 빈도 측정하기
examples/benchmark에 있는 1,536건 재사용 벤치마크를 재현한 뒤 회사 자체 질의 쌍 1주일치를 채점합니다. 포함된 데이터에서 기본 리랭커의 정밀도 42.2%가 운영 투입 전에 넘어야 할 기준입니다.
도입 전 확인할 점
- 설정
- 정확 일치는 pip install gptcache와 cache.init()이면 됩니다. 시맨틱 모드에는 임베딩 모델(기본 ONNX), 벡터 저장소, 유사도 평가기를 코드에서 설정해야 하며, 추가 라이브러리는 처음 쓸 때 설치됩니다.
- 연동
- OpenAI와 Anthropic Messages 클라이언트, LangChain, LlamaIndex, llama.cpp, 이미지와 오디오 API용 어댑터가 있고, Docker 서버로 다른 언어에서도 쓸 수 있습니다.
- 데이터와 개인정보
- 캐시된 프롬프트와 답변은 설정한 저장소에 저장되며, 그 저장소가 암호화하지 않으면 암호화되지 않습니다. 선택형 JevEvaluation은 질의와 후보 답변을 api.typesafe.ai로 보냅니다.
- 대규모 사용 시 비용
- 라이선스 비용은 없고, 임베딩 모델, 벡터 저장소, 그리고 사용한다면 캐시 후보마다의 TypeSafe API 호출 비용이 듭니다.
- 제한
- 메모리 축출이 바이트가 아니라 항목 수를 세므로 README에 따르면 메모리 부족 오류가 날 수 있습니다. 모든 모듈 조합이 호환되지는 않습니다. 열린 이슈 77건, 열린 pull request 26건.
좋은 점
- 모듈식: 임베딩, 저장소, 벡터 DB, 평가기를 모두 교체 가능
- SQLite와 FAISS부터 Milvus, DynamoDB까지 폭넓은 백엔드 지원
- 임베딩을 끈 정확 일치 모드 지원
- 재사용 정밀도와 재현율 벤치마크 공개
아쉬운 점
- 2024년 8월 이후 PyPI 릴리스 없음
- 기본 리랭커가 자체 벤치마크에서 880건 중 508건의 틀린 답을 재사용
- README가 새 모델이나 API를 지원하지 않겠다고 명시
- 정확한 평가기는 질의와 답을 외부 API로 전송
추천 대상
공개 FAQ 봇처럼 위험이 낮은 반복 질문을 대량으로 받고, 자체 라벨링 트래픽으로 임계값을 조정하며 포크를 유지할 각오가 된 팀.