본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

PagedAttention

PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.

다른 이름: paged KV cache

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

텍스트를 생성하는 동안 모델은 KV cache를 유지합니다. 지금까지의 모든 토큰에 대해 저장한 어텐션 키와 값입니다. 새 토큰마다 커지며, 응답이 얼마나 길어질지는 아무도 미리 알지 못합니다. 예전 서버는 요청마다 최대 길이에 맞춘 연속된 GPU 메모리 덩어리 하나를 예약했습니다. 그 공간의 대부분은 쓰이지 않았고, 덩어리 사이의 빈틈은 다른 누구도 쓸 수 없었습니다.

작동 방식

2023년 vLLM 논문은 운영체제의 가상 메모리 페이징 아이디어를 빌려 왔습니다. KV cache를 작은 블록으로 나눕니다. 각 요청에는 논리적 위치를 메모리 어디에든 있는 물리적 블록에 대응시키는 블록 테이블이 있고, 새 블록은 필요할 때만 할당됩니다. 어텐션 커널은 이 테이블을 거쳐 읽습니다. 저자들은 KV cache 메모리 낭비가 거의 0에 가깝고, 같은 지연 시간에서 이전 시스템보다 처리량이 2배에서 4배라고 보고합니다.

블록이 간접적으로 참조되므로 요청끼리 블록을 공유할 수도 있습니다. 같은 프롬프트에서 뽑은 여러 샘플, 또는 같은 긴 시스템 프롬프트를 쓰는 많은 채팅이 공유 접두부의 사본 하나를 가리킬 수 있습니다. 이것이 서버의 접두부 캐싱(prefix caching)의 기반입니다.

왜 중요한가

메모리가 남으면 배치를 키울 수 있고, 배치가 크면 GPU당 사용자가 늘어납니다. PagedAttention 덕분에 연속 배칭이 요청을 자유롭게 넣고 뺄 수 있습니다. vLLM에서 처음 선보였으며, 지금은 대부분의 프로덕션 모델 서버가 비슷한 페이징 설계를 씁니다.

한계

KV cache 자체를 줄이지는 않습니다. 긴 컨텍스트에는 여전히 많은 VRAM이 필요합니다. KV cache 양자화 같은 기법이 이 문제를 따로 다룹니다.

관련 용어

KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
연속 배칭
연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.
VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.

출처