llamafile의 개요
llamafile은 오픈 모델을 내려받아 바로 실행할 수 있는 파일 하나로 바꿉니다. llama.cpp와 Cosmopolitan Libc를 결합해, 같은 파일이 x86-64와 ARM64 CPU 모두에서 macOS, Windows, Linux, FreeBSD, OpenBSD, NetBSD로 실행됩니다.
Mozilla Builders 프로젝트로 시작했고 Mozilla.ai가 관리합니다. 2025년 5월의 0.9.3과 2026년 3월의 0.10.0 사이에 공백이 있었고, 0.10 시리즈는 업스트림 llama.cpp를 가깝게 따라가는 새 빌드 시스템으로 옮겼습니다. 문서에 따르면 더 새로운 모델을 지원하지만 0.9의 일부 기능이 빠졌을 수 있고, 모든 GPU와 플랫폼에서 테스트되지는 않았습니다.
whisper.cpp 기반의 단일 파일 음성 인식 도구 whisperfile도 포함합니다. 프로젝트는 Apache 2.0이며, llama.cpp와 whisper.cpp에 대한 변경 사항은 MIT입니다.
llamafile, 쓸 만한 가치가 있습니까?
llamafile이 해결하는 것은 추론이 아니라 배포입니다. 실행 파일 하나에 엔진과, 선택적으로 가중치가 들어 있습니다. macOS와 Linux에서는 실행 권한을 주고 실행하면 되고, Windows에서는 이름을 .exe로 바꿉니다. GitHub 스타는 약 26,500개이고, 2026년 3월 이후 0.10 릴리스를 일곱 번 냈으며 최신은 9월 15일입니다.
이식성에는 한계가 있습니다. Windows는 4 GB가 넘는 실행 파일을 실행하지 않으므로, 작은 양자화 모델보다 큰 것은 별도의 GGUF 파일과 함께 순수 바이너리를 쓰거나 WSL을 써야 합니다. x86-64 CPU는 AVX를 지원해야 합니다. GPU 지원은 Metal, CUDA, ROCm, Vulkan을 포함하지만, 문서는 AMD와 Windows 경로를 최선의 노력 수준이라고 부릅니다. 백엔드 로드에 실패하 면 --gpu로 강제하지 않는 한 llamafile은 조용히 CPU로 돌아갑니다.
보안 설계는 대부분의 로컬 실행 도구보다 신중합니다. --server 모드에서는 Linux와 OpenBSD에서 외부 연결과 파일 쓰기를 막는 pledge 샌드박스를 적용하고, --confine-reads는 모델 디렉터리 밖의 모든 것을 숨깁니다. 문서는 빈틈에 대해 솔직합니다. GPU를 켜면 샌드박스가 전혀 없고, macOS와 Windows에도 없으며, 기본 결합 모드에도 없습니다. 서버는 기본으로 127.0.0.1:8080에서 대기하며, --host 0.0.0.0을 쓰면 --api-key를 설정하지 않는 한 API 키 없이 네트워크에 열립니다.
일상 작업에서는 llama.cpp 자체가 새 모델과 플래그를 먼저 받고, 모델 관리는 Ollama가 더 잘합니다. llamafile의 틈새는 건네주기입니다. 워크숍용 USB 메모리, 오프라인 현장 노트북, Python을 절대 설치하지 않을 동료를 위한 데모입니다. 이 틈새에서는 Windows의 4 GB 상한이 가장 중요한 제약입니다.
제 역할을 하는 곳
40석 규모 워크숍을 진행하는 개발자 관계 엔지니어
어떤 노트북을 가져오든 모든 참석자가 5분 안에 로컬 모델과 대화하게 하기
Windows에서도 실행되도록 Qwen3.5 0.8B처럼 4 GB 미만인 작은 사전 빌드 llamafile을 나눠 줍니다. Python도 패키지 관리자도 필요 없습니다. 대가는 가장 성능이 낮은 노트북에 맞는 작은 모델을 골라야 한다는 점입니다.
인터넷 없이 일하는 현장 연구자
오프라인 노트북에서 인터뷰를 받아쓰고 메모를 요약하기
드라이브에 whisperfile과 llamafile을 담아 두 가지 모두 CPU에서 실행합니다. 아무것도 머신 밖으로 나가지 않습니다. 오래된 CPU에서는 출력이 느리고, x86-64에서는 AVX가 필요합니다.
클라우드 금지 정책 아래 로컬 AI를 시범 도입하는 직원 50명 규모 회사의 IT 책임자
업체에 데이터를 보내지 않고 직원에게 사내 채팅 엔드포인트 제공하기
Linux 서버에서 --confine-reads와 함께 --server를 실행하고, 가중치는 별도 디렉터리에 두며, 포트 8080 앞에 리버스 프록시를 둡니다. 샌드박스는 CPU 모드에서만 적용되므로 GPU 서버에는 별도의 격리가 필요합니다.
도입 전 확인할 점
- 설정
- .llamafile을 내려받아 chmod +x 후 실행합니다(Windows에서는 이름을 .exe로 변경). 또는 순수 바이너리를 받아 -m으로 원하는 GGUF를 지정합니다. 0.8B 샘플 모델은 노트북 CPU에서 몇 분 안에 응답합니다.
- 연동
- 포트 8080의 OpenAI 호환 엔드포인트를 갖춘 llama.cpp 서버와 웹 UI, --cli와 --chat 터미널 모드, 선택적 내장 도구와 MCP 프록시, 받아쓰기용 whisperfile을 제공합니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. 문서에 텔레메트리 언급이 없고 GitHub 코드 검색에서도 텔레메트리 코드가 나오지 않습니다. Linux의 서버 모드는 외부 연결과 쓰기를 막지만, GPU 모드, macOS, Windows, 기본 결합 모드는 샌드박스 없이 실행되며, 신뢰할 수 없는 출처의 llamafile은 샌드박스를 제거할 수 있습니다.
- 대규모 사용 시 비용
- 무료이며 Mozilla.ai의 유료 에디션은 없습니다. 하드웨어는 모델을 돌릴 수 있는 것이면 됩니다. 가중치를 담을 RAM이 충분한 AVX x86-64 또는 ARMv8 CPU, 그리고 선택적으로 Metal, CUDA, ROCm 또는 Vulkan GPU입니다.
- 제한
- 열린 이슈와 풀 리퀘스트 216개. Windows 실행 파일 4 GB 상한. 번들된 CUDA에는 IQ 양자화 커널이 없습니다. AMD에서는 멀티 GPU가 깨질 수 있습니다. 0.9 예제는 0.10에서 테스트되지 않았습니다.
좋은 점
- 파일 하나, 설치 불필요
- x86-64와 ARM64에서 여섯 가지 운영체제 지원
- Linux에서 서버 샌드박스가 외부 네트워크를 차단
- whisperfile로 음성 인식 포함
아쉬운 점
- Windows에서 실행 파일 4 GB 제한
- GPU를 켜거나 macOS와 Windows에서는 샌드박스 없음
- GPU 백엔드가 실패하면 조용히 CPU로 전환
- 0.10 재구축에서 0.9의 일부 기능이 빠짐
추천 대상
오프라인을 포함해 설정 없이 로컬 모델을 공유하거나 실행해야 하는 사람.
llamafile 대안
llamafile: 자주 묻는 질문
- llamafile, 쓸 만한 가치가 있습니까?
- 동작하는 로컬 모델을 다른 사람에게 건네는 가장 간단한 방법이지만, 감싸고 있는 llama.cpp보다는 기능이 적습니다. 평점은 5점 만점에 3.9점입니다.
- llamafile의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스이며, llama.cpp에 대한 변경 사항은 MIT 라이선스입니다.
- llamafile의 단점은 무엇입니까?
- Windows에서 실행 파일 4 GB 제한; GPU를 켜거나 macOS와 Windows에서는 샌드박스 없음; GPU 백엔드가 실패하면 조용히 CPU로 전환; 0.10 재구축에서 0.9의 일부 기능이 빠짐.
- llamafile에 적합한 사람은 누구입니까?
- 오프라인을 포함해 설정 없이 로컬 모델을 공유하거나 실행해야 하는 사람.
- 팀이나 프로덕션 환경에서 llamafile의 비용은 얼마입니까?
- 무료이며 Mozilla.ai의 유료 에디션은 없습니다. 하드웨어는 모델을 돌릴 수 있는 것이면 됩니다. 가중치를 담을 RAM이 충분한 AVX x86-64 또는 ARMv8 CPU, 그리고 선택적으로 Metal, CUDA, ROCm 또는 Vulkan GPU입니다.
- llamafile에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. 문서에 텔레메트리 언급이 없고 GitHub 코드 검색에서도 텔레메트리 코드가 나오지 않습니다. Linux의 서버 모드는 외부 연결과 쓰기를 막지만, GPU 모드, macOS, Windows, 기본 결합 모드는 샌드박스 없이 실행되며, 신뢰할 수 없는 출처의 llamafile은 샌드박스를 제거할 수 있습니다.
- llamafile의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp 및 Ollama입니다.
답변 확인일: 2026년 10월 26일.