양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
다른 이름: quantized, 4-bit, Q4_K_M
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
양자화는 대형 모델이 소비자용 GPU와 노트북에 들어가는 주된 이유입니다. 가중치를 16비트 대신 4비트로 저장하면 메모리가 약 4분의 1로 줄어듭니다.
작동 방식
각 가중치를 16비트 숫자에서 더 작은 값 집합으로 대응시키고, 가중치 블록마다 스케일 계수를 저장해 추론 중에 대략 복원할 수 있게 합니다. 사후 학습 방식은 학습이 끝난 뒤 이를 적용하며, 재학습이 필요 없습니다. 2022년에 발표된 GPTQ는 GPT 계열 모델을 가중치당 3비트 또는 4비트로 양자화하며, 저자들은 정확도 손실이 무시할 만한 수준이라고 말합니다.
레이블 읽는 법
llama.cpp를 중심으로 한 GGUF 생태계에서 Q8_0, Q5_K_M, Q4_K_M 같은 이름은 방식을 나타냅니다. 숫자는 대략 가중치당 비트 수입니다. K는 k-quant 계열을 뜻하고, S, M, L은 일부 민감한 레이어를 더 높은 정밀도로 유지하는 소, 중, 대 조합입니다. Q4_K_M은 크기와 품질의 균형으로 인기가 많습니다.
장단점
비트가 낮을수록 품질 손실이 커집니다. 8비트는 대개 원본에 가깝고, 4비트는 흔한 최적점이며, 그 아래로는 특히 작은 모델에서 품질이 더 빨리 떨어집니다. 양자화는 가중치를 줄이지만, KV cache는 따로 양자화하지 않는 한 줄이지 않습니다. GPU 계산기로 구성 규모를 정하십시오.
관련 용어
- GGUF
- GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 수치 정밀도(FP16, BF16, FP8)
- 수치 정밀도(numeric precision)는 모델의 가중치를 저장하고 연산을 수행하는 데 쓰는 숫자 형식으로, FP32, FP16, BF16, FP8, INT4 등이 있습니다. 숫자당 비트가 적을수록 메모리가 줄고 추론이 빨라지지만, 정확도가 떨어질 위험이 있습니다.
- 모델 파라미터(Model parameters)
- 모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
- 로컬 LLM(Local LLM)
- 로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.