시맨틱 캐시(Semantic cache)
시맨틱 캐시(semantic cache)는 과거 LLM 응답을 저장해 두었다가, 새 요청이 이전 요청과 대략 같은 뜻일 때 저장된 응답을 돌려줍니다. 일치 여부는 정확한 텍스트 일치가 아니라 임베딩 유사도로 판단합니다. 반복되는 질문에서 비용과 지연 시간을 아낍니다.
다른 이름: semantic caching
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
일반 캐시는 요청이 이전 요청과 바이트 단위로 똑같을 때만 도움이 됩니다. 사람들은 같은 질문을 같은 방식으로 두 번 하는 일이 드물어서, 정확히 일치하는 캐싱은 채팅이나 고객 지원 앱에서 반복 질문 대부분을 놓칩니다. 시맨틱 캐시는 대신 의미로 일치시킵니다.
작동 방식
들어오는 프롬프트를 각각 임베딩으로 바꿉니다. 캐시는 이전 프롬프트의 임베딩에 대해 벡터 검색을 실행합니다. 가장 가까운 것이 충분히 비슷하면, 예를 들어 직접 정한 기준치에 대해 코사인 유사도로 측정해 충분하면, 저장된 답을 돌려주고 모델은 호출하지 않습니다. 그렇지 않으면 요청이 모델로 가고 새 쌍이 저장됩니다. 오픈소스 GPTCache가 이 설계를 따르며, 많은 LLM 게이트웨이와 Redis 같은 벡터 저장소가 이를 기능으로 제공합니다.
시맨틱 캐시와 프롬프트 캐싱
프롬프트 캐싱은 모델 제공업체가 합니다. 동일한 프롬프트 접두부에 대해 계산된 상태를 재사용하되, 여전히 모델을 실행하고 새 답을 돌려줍니다. 시맨틱 캐시는 모델 앞에 자 리 잡고 호출 자체를 건너뛰어 예전 답을 돌려줍니다.
한계
어려운 부분은 기준치입니다. 너무 느슨하면 "주문 취소"에 "주문 조회"용으로 저장된 답이 나올 수 있습니다. 너무 엄격하면 캐시 적중이 거의 없습니다. 캐시된 답은 낡을 수도 있고, 한 사용자의 개인화된 답을 다른 사용자에게 유출하거나, 대화 맥락을 무시할 수도 있습니다. 그래서 시맨틱 캐싱은 개인적이거나 여러 턴에 걸친 채팅보다 상태가 없고 공통적인 질문(FAQ, 문서 조회)에 더 잘 맞습니다. 데이터가 비공개라면 테넌트별로 캐시 범위를 나누고 만료 시간을 정하십시오.
관련 용어
- 프롬프트 캐싱(Prompt caching)
- 프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.
- LLM 게이트웨이
- LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
- 벡터 검색(Vector search)
- 벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
- 코사인 유사도
- 코사인 유사도(cosine similarity)는 두 벡터 사이의 각도로 둘이 얼마나 비슷한지 재는 값입니다. -1부터 1까지의 범위를 가지며, 벡터의 길이는 무시하고, 검색에서 임베딩을 비교하는 가장 흔한 방법입니다.