본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

프롬프트 캐싱(Prompt caching)

프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.

다른 이름: cached input tokens, context caching

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

많은 애플리케이션이 같은 앞부분 텍스트를 계속해서 보냅니다. 지시, 도구 정의, 큰 문서, 또는 채팅의 이전 턴들입니다. 보통은 모델이 요청마다 이 모두를 처리합니다. 프롬프트 캐싱을 쓰면 제공업체가 그 접두부에 대해 계산한 상태를 잠시 보관하고, 같은 접두부를 가진 이후 요청이 이를 재사용합니다. Anthropic 문서는 이를 API가 프롬프트의 특정 접두부에서 이어서 시작할 수 있게 하는 것이라고 설명합니다.

제공업체별 방식

세부 사항은 다릅니다. Claude API에서는 `cache_control`로 캐시 지점을 표시하거나 자동 캐싱을 켭니다. 캐시 항목은 기본적으로 5분간 유지되며, 추가 비용으로 1시간 옵션도 있습니다. 캐시 쓰기는 일반 입력보다 비싸고 캐시 읽기는 훨씬 쌉니다. 기본적으로 기본 입력 가격의 0.1배이며, 일부 모델은 배수가 더 낮습니다. OpenAI는 프롬프트가 충분히 길면 일치하는 접두부를 자동으로 캐싱합니다. 문서에 따르면 GPT-5.6 이후의 최소 길이는 1,024 토큰입니다. Google은 이 기능을 컨텍스트 캐싱이라고 부릅니다.

캐시 적중을 얻는 법

정확히 일치하는 접두부만 인정됩니다. 변하지 않는 내용을 앞에, 사용자의 질문처럼 바뀌는 내용을 뒤에 두십시오. 프롬프트 맨 위의 타임스탬프나 순서가 바뀐 도구 목록은 그 뒤 모든 부분의 캐시를 깨뜨립니다. 응답의 사용량 필드를 확인해 캐시된 토큰이 집계되는지 확인하십시오.

다른 캐시와 다릅니다

KV cache는 한 번의 생성 안에서 쓰는 메모리 내 상태이고, 프롬프트 캐싱은 그 한 버전을 요청 간에 유지합니다. 시맨틱 캐시는 또 다릅니다. 내 시스템이 모델을 호출하지 않고 비슷한 질문에 저장된 답을 돌려줍니다. 비용에 미치는 영향은 토큰 가격을 참고하십시오.

관련 용어

토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
시맨틱 캐시(Semantic cache)
시맨틱 캐시(semantic cache)는 과거 LLM 응답을 저장해 두었다가, 새 요청이 이전 요청과 대략 같은 뜻일 때 저장된 응답을 돌려줍니다. 일치 여부는 정확한 텍스트 일치가 아니라 임베딩 유사도로 판단합니다. 반복되는 질문에서 비용과 지연 시간을 아낍니다.
컨텍스트 엔지니어링
컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.

출처