로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
다른 이름: run locally, on-device model, Edge AI, on-device AI
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
모델을 로컬에서 실행하는 일은 성능 좋은 오픈 웨이트 모델이 공개되고, 양자화된 버전을 쉽게 실행하는 도구가 나오면서 현실적인 선택이 되었습니다. 일반적인 구성은 GGUF 형식의 모델을 내려받아 llama.cpp로 실행하는 것입니다. llama.cpp는 다양한 하드웨어에서 최소한의 설정으로 추론하는 것을 목표로 내세웁니다. Ollama나 LM Studio 같은 더 친숙한 래퍼를 쓸 수도 있습니다. 이들 대부분은 OpenAI 호환 API를 제공하므로, 기존 코드가 로컬 모델을 가리키게 할 수 있습니다.
사람들이 쓰는 이유
주된 이유는 프라이버시와 통제입니다. 아무것도 기기를 떠나지 않으며, 이는 민감한 문서와 오프라인 사용에서 중요합니다. 토큰당 요금이 없고, 모델이 사용 중에 바뀌거나 지원 종료되지도 않습니다. 저렴하게 실험하는 방법이기도 합니다.
장단점
모델이 VRAM이나 통합 메모리에 들어가야 하므로 크기에 제한이 있습니다. GPU 계산기로 확인할 수 있습니다. 로컬 모델은 대개 가장 큰 호스팅형 프런티어 모델보다 작고 성능이 낮으며, 속도는 하드웨어에 달려 있습니다. 업데이트와 모델 라이선스 확인은 직접 책임져야 합니다.
엣지 AI
엣지 AI, 또는 온디바이스 AI는 데이터 센터가 아니라 휴대폰, 카메라, 자동차, 센서처럼 데이터가 만들어지는 기기에서 모델을 실행한다는 더 넓은 개념입니다. 작은 비전 및 음성 모델과 소형 언어 모델을 포함하며, NPU에서 실행되는 경우가 많습니다. Google AI Edge는 기기에 모델을 배포하기 위한 툴킷의 한 예입니다.
관련 용어
- GGUF
- GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰 입니다.
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 셀프 호스팅(AI 모델)
- AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
- 소형 언어 모델(Small language model)
- 소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
- NPU
- NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.