KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
다른 이름: key-value cache
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
트랜스포머에서 새 토큰은 모두 어텐션 메커니즘을 통해 이전의 모든 토큰에 어텐션하며, 이때 층마다 토큰마다 키 벡터와 값 벡터를 씁니다. 캐시가 없으면 모델은 단계마다 시퀀스 전체에 대해 그 벡터들을 다시 계산해야 합니다. KV 캐시는 이를 메모리에 보관하므로, 다음 토큰을 생성할 때 새로운 한 세트만 더하면 됩니다.
메모리 비용
캐시는 컨텍스트의 토큰 수, 층 수, 동시 요청 수에 따라 커집니다. 프롬프트가 길거나 사용자가 많으면 가중치만큼의 VRAM을 차지할 수도 있으며, 그래서 모델이 카드에는 들어가도 긴 컨텍스트에서는 실패할 수 있습니다. PagedAttention 논문은 요청당 KV 캐시 메모리가 거대하고, 요청이 길어지고 끝남에 따라 크기가 바뀐다고 설명합니다. 낭비되는 캐시 메모리는 서버가 배치로 묶을 수 있는 요청 수를 제한합니다.
엔진의 관리 방식
vLLM과 함께 소개된 페이지드 어텐션은 가상 메모리 페이지처럼 고정 크기 블록에 캐시를 저장해, 단편화를 피하고 같은 접두부를 가진 요청끼리 블록을 공유합니다. 엔진은 캐시를 더 낮은 정밀도로 양자화하거나 CPU 메모리로 오프로드하기도 합니다.
KV 캐시와 프롬프트 캐싱
KV 캐시는 한 번의 생성 안에서만 존재합니다. API 제공업체가 제공하는 프롬프트 캐싱은 반복되는 프롬프트 접두부에 대해 계산한 상태를 별개의 요청들 사이에서 유지해, 시간과 돈을 아낍니다. GPU 계산기는 메모리 추정에 컨텍스트 길이를 포함합니다.
관련 용어
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- PagedAttention
- PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
- 프롬프트 캐싱(Prompt caching)
- 프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 어텐션 메커니즘
- 어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.