본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

KV 캐시

KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.

다른 이름: key-value cache

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

트랜스포머에서 새 토큰은 모두 어텐션 메커니즘을 통해 이전의 모든 토큰에 어텐션하며, 이때 층마다 토큰마다 키 벡터와 값 벡터를 씁니다. 캐시가 없으면 모델은 단계마다 시퀀스 전체에 대해 그 벡터들을 다시 계산해야 합니다. KV 캐시는 이를 메모리에 보관하므로, 다음 토큰을 생성할 때 새로운 한 세트만 더하면 됩니다.

메모리 비용

캐시는 컨텍스트의 토큰 수, 층 수, 동시 요청 수에 따라 커집니다. 프롬프트가 길거나 사용자가 많으면 가중치만큼의 VRAM을 차지할 수도 있으며, 그래서 모델이 카드에는 들어가도 긴 컨텍스트에서는 실패할 수 있습니다. PagedAttention 논문은 요청당 KV 캐시 메모리가 거대하고, 요청이 길어지고 끝남에 따라 크기가 바뀐다고 설명합니다. 낭비되는 캐시 메모리는 서버가 배치로 묶을 수 있는 요청 수를 제한합니다.

엔진의 관리 방식

vLLM과 함께 소개된 페이지드 어텐션은 가상 메모리 페이지처럼 고정 크기 블록에 캐시를 저장해, 단편화를 피하고 같은 접두부를 가진 요청끼리 블록을 공유합니다. 엔진은 캐시를 더 낮은 정밀도로 양자화하거나 CPU 메모리로 오프로드하기도 합니다.

KV 캐시와 프롬프트 캐싱

KV 캐시는 한 번의 생성 안에서만 존재합니다. API 제공업체가 제공하는 프롬프트 캐싱은 반복되는 프롬프트 접두부에 대해 계산한 상태를 별개의 요청들 사이에서 유지해, 시간과 돈을 아낍니다. GPU 계산기는 메모리 추정에 컨텍스트 길이를 포함합니다.

관련 용어

VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
PagedAttention
PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
프롬프트 캐싱(Prompt caching)
프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.

출처