본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

GGUF

GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.

다른 이름: GGUF file

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

로컬에서 실행하려고 모델을 내려받으면 .gguf로 끝나는 파일을 자주 보게 됩니다. 이 형식은 llama.cpp의 기반인 텐서 라이브러리 GGML 프로젝트에서 나왔으며, Ollama와 LM Studio가 쓰는 형식입니다.

안에 든 것

GGUF 파일에는 모델의 텐서와 키-값 메타데이터가 들어 있습니다. 구조, 토크나이저, 컨텍스트 길이, 양자화 세부 정보입니다. 사양은 단일 파일 배포를 목표로 꼽으므로, 모델을 추가 설정 파일 없이 불러올 수 있습니다. 모델은 보통 PyTorch로 학습한 뒤 GGUF로 변환합니다.

GGUF와 양자화

GGUF는 전체 정밀도 가중치도 저장할 수 있지만, 내려받는 GGUF 파일은 대부분 양자화되어 있습니다. 한 모델이 Q8_0, Q5_K_M, Q4_K_M처럼 여러 파일로 공개되는 경우가 많으며, 각각 크기와 품질을 맞바꿉니다. 컨텍스트를 위한 여유를 남기고 메모리에 들어가는 가장 큰 파일을 고르십시오. GPU 계산기가 도움이 됩니다.

GGUF와 safetensors

Safetensors는 Hugging Face에서 전체 정밀도 가중치에 흔히 쓰는 형식으로, Python 라이브러리와 vLLM 같은 GPU 서버가 씁니다. GGUF는 로컬, CPU 친화적, Apple Silicon 추론을 겨냥합니다. 둘은 서로 다른 런타임을 위한 것이며, 변환 스크립트로 모델을 오갈 수 있습니다.

관련 용어

양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
Safetensors
Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
셀프 호스팅(AI 모델)
AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.

출처