CPU 오프로딩
CPU 오프로딩(CPU offloading)은 GPU 메모리에 다 들어가지 않는 모델의 일부 층을 시스템 RAM이나 디스크에 두고 나머지에 GPU를 써서 모델을 실행하는 방법입니다. 모델은 돌아가지만 더 느립니다.
다른 이름: offload layers, GPU offloading, partial offload
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델의 가중치는 보통 VRAM에 있습니다. 모델이 GPU보다 크면, 오프로딩은 GPU에 들어가는 만큼의 층을 GPU에 두고 나머지는 일반 RAM에 둡니다. 사람들이 게이밍 PC에서 대형 로컬 LLM을 돌리는 방법이 이것입니다.
두 가지 방식
Hugging Face Accelerate와 Transformers에서는 `device_map="auto"`로 설정하면 GPU를 먼저 채우고, 그다음 CPU, 마지막으로 디스크를 채웁니다. RAM에 둔 층은 필요할 때 GPU로 옮기며, 가장 큰 층 하나가 GPU에 들어가기만 하면 동작합니다.
llama.cpp와 Ollama, LM Studio처럼 그 위에 만든 도구에서는 GPU에 올릴 층의 수를 직접 고릅니다("GPU layers" 설정). 나머지는 CPU가 RAM에서 바로 계산합니다. GGUF 모델에서는 이 혼합 방식이 흔합니다.
대가
시스템 RAM은 VRAM보다 훨씬 느리고, PCIe 버스로 데이터를 옮기는 것은 더 느립니다. 오프로딩한 층이 늘 때마다 초당 토큰 수가 줄며, 때로는 크게 줄어듭니다. 디스크 오프로딩이 가장 느립니다. 오프로딩은 대화형 사용보다 모델을 시험해 보거나 속도가 별로 중요하지 않은 배치 작업에 맞습니다.
대안
오프로딩하기 전에 모든 층을 줄여 주는 더 작은 양자화를 시도해 보십시오. 전문가 혼합(mixture-of-experts) 모델은 토큰마다 소수의 전문가만 실행되므로 부분 오프로딩에 잘 맞습니다. 통합 메모리를 쓰는 머신은 CPU와 GPU가 하나의 메모리 풀을 공유하므로 이 문제가 없습니다. GPU 계산기로 모델의 얼마만큼이 자신의 카드에 들어가는지 추정할 수 있습니다.
관련 용어
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 통합 메모리(Unified memory)
- 통합 메모리(unified memory)는 CPU와 GPU가 각자 메모리를 갖는 대신 하나의 메모리 풀을 공유하는 설계입니다. Apple Silicon Mac과 비슷한 칩에서는 로컬 AI 모델이 시스템 RAM 대부분을 GPU 메모리로 쓸 수 있게 해 줍니다.
- 로컬 LLM(Local LLM)
- 로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
- GGUF
- GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.