llama.cpp

제 역할을 하는 곳

• Apple silicon 노트북을 쓰는 개발자

  쓸 만한 코딩 또는 채팅 모델을 오프라인으로 실행하기

  llama.app의 한 줄 스크립트로 설치한 뒤 `llama serve -hf <repo>`를 실행하면 GGUF를 내려받아 localhost에 OpenAI 호환 엔드포인트를 띄우며, 편집기와 에이전트가 여기에 연결할 수 있습니다. 토큰당 비용은 없습니다. 대신 클라우드 API보다 출력이 느리고 모델이 작습니다.

• 데이터 상주 규정이 있는 직원 200명 규모 회사의 플랫폼 엔지니어

  온프레미스 GPU 한두 대로 사내 어시스턴트 서빙하기

  병렬 슬롯과 API 키를 설정한 llama-server 앞에 리버스 프록시를 두면, 프롬프트를 회사 하드웨어에 둔 채 적당한 동시성을 처리합니다. 부하가 크면 vLLM의 배치 처리가 같은 GPU에서 더 많은 성능을 뽑아내므로, 전사 도입보다는 시범 운영에 맞습니다.

• Snapdragon 휴대폰용 온디바이스 어시스턴트를 출시하는 모바일팀

  작은 양자화 모델을 앱 안에 넣기

  C/C++ 라이브러리를 앱에 직접 링크하고, Qualcomm 칩용 Hexagon과 OpenCL(Adreno) 백엔드, 메모리에 맞추는 1.5비트에서 8비트 양자화를 씁니다. MIT 라이선스라 비공개 상용 배포가 가능합니다. llama.h의 잦은 변경에 대응할 시간을 확보해야 합니다.

도입 전 확인할 점

설정

llama.app의 한 줄 설치 프로그램(macOS와 Linux는 셸, Windows는 PowerShell), 릴리스 페이지의 사전 빌드 바이너리, Docker 이미지 또는 소스 빌드로 설치합니다. Hugging Face의 GGUF가 있으면 첫 응답까지 몇 분이 걸리며, 대부분은 다운로드 시간입니다.

연동

llama-server는 OpenAI 호환 API와 모델 관리자가 있는 웹 UI를 제공합니다. 편집기, 에이전트, 채팅 앱이 이 API로 연결합니다. 백엔드에는 CUDA, Metal, HIP, Vulkan, SYCL, CANN, Hexagon, WebGPU, 그리고 모델을 여러 머신에 나누는 RPC가 있습니다.

데이터와 개인정보

로컬에서 실행되며, 모델은 요청할 때만 Hugging Face에서 내려받습니다. README에는 텔레메트리 언급이 없고 GitHub 코드 검색에서도 텔레메트리 코드가 나오지 않습니다. 서버는 기본으로 API 키 없이 127.0.0.1:9931에서 대기합니다(Docker 이미지는 8080 유지). RPC 서버는 절대 열린 네트워크에 노출하면 안 됩니다. 치명적 등급의 CVE-2026-34159가 이를 통한 인증 없는 코드 실행을 허용했습니다. MIT 라이선스입니다.

대규모 사용 시 비용

MIT 라이선스로 무료이고 유료 에디션이 없으므로 비용은 하드웨어입니다. CPU 전용 머신과 Apple silicon은 작은 모델을 감당합니다. Lambda에서 A10(24 GB)은 시간당 $1.29, H100 PCIe는 $3.29이며, 계속 켜 두면 월 약 $940와 $2,400입니다.

제한

열린 이슈와 풀 리퀘스트 약 2,600개. 서버 플래그와 출력 형식이 릴리스마다 바뀌고, 고동시성 처리량은 vLLM과 SGLang에 뒤지며, 프로젝트는 RPC 백엔드를 개념 증명 수준이라고 설명합니다.

llama.cpp 대안

Ollama

로컬에서 모델 실행·Go·184k 스타

4.6/5

명령 하나로 오픈 LLM을 내려받아 로컬에서 실행하는 도구로, REST API와 선택적인 유료 클라우드 모델을 제공합니다.

llamafile

로컬에서 모델 실행·C++·26k 스타

3.9/5

LLM과 런타임을 실행 파일 하나로 묶어, 아무것도 설치하지 않고 대부분의 운영체제에서 실행되게 합니다.

MLX

로컬에서 모델 실행·C++·29k 스타

4.4/5

Apple 실리콘에서 머신러닝을 위한 Apple의 배열 프레임워크로, 이제 CUDA 빌드도 있습니다. mlx-lm과 여러 Mac LLM 앱의 엔진입니다.

vLLM

로컬에서 모델 실행·Python·96k 스타

4.7/5

OpenAI 호환 서버와 폭넓은 모델 지원을 갖춘 GPU용 고처리량 LLM 서빙 엔진입니다.

llama.cpp: 자주 묻는 질문

llama.cpp, 쓸 만한 가치가 있습니까?

오픈 모델이 노트북에서 돌아간다면 거의 확실히 llama.cpp를 통해서이며, 이만큼 넓은 하드웨어를 지원하는 것은 없습니다. 평점은 5점 만점에 4.8점입니다.

llama.cpp의 가격은 얼마입니까?

MIT 라이선스의 무료 오픈소스입니다. 유료 에디션은 없습니다.

llama.cpp의 단점은 무엇입니까?

플래그와 기본값이 자주 바뀜. v0.7.0에서 기본 포트가 9931로 이동; 2025년과 2026년에 GGUF 파싱과 RPC 보안 권고가 반복됨; 고동시성 GPU 서빙용으로 만들어지지 않음.

llama.cpp에 적합한 사람은 누구입니까?

로컬, 엣지 기기 또는 소박한 서버에서 오픈 모델 실행을 직접 제어하고 싶은 개발자.

팀이나 프로덕션 환경에서 llama.cpp의 비용은 얼마입니까?

MIT 라이선스로 무료이고 유료 에디션이 없으므로 비용은 하드웨어입니다. CPU 전용 머신과 Apple silicon은 작은 모델을 감당합니다. Lambda에서 A10(24 GB)은 시간당 $1.29, H100 PCIe는 $3.29이며, 계속 켜 두면 월 약 $940와 $2,400입니다.

llama.cpp에 회사 데이터를 맡겨도 안전합니까?

로컬에서 실행되며, 모델은 요청할 때만 Hugging Face에서 내려받습니다. README에는 텔레메트리 언급이 없고 GitHub 코드 검색에서도 텔레메트리 코드가 나오지 않습니다. 서버는 기본으로 API 키 없이 127.0.0.1:9931에서 대기합니다(Docker 이미지는 8080 유지). RPC 서버는 절대 열린 네트워크에 노출하면 안 됩니다. 치명적 등급의 CVE-2026-34159가 이를 통한 인증 없는 코드 실행을 허용했습니다. MIT 라이선스입니다.

llama.cpp의 가장 좋은 대안은 무엇입니까?

저희가 리뷰한 것 중 가장 가까운 대안은 Ollama, llamafile, MLX 및 vLLM입니다.

답변 확인일: 2026년 10월 26일.