llama-modchip의 개요
llama-modchip은 llama.cpp 패치, 양자화 도구, 래퍼 스크립트 ./modchip 을 묶은 것으로, 대형 mixture-of-experts(MoE) 모델을 CPU만으로 실행합니다. MoE 모델은 토큰마다 일부 전문가만 쓰므로, CPU에서의 속도는 주로 토큰당 메모리에서 읽어야 하는 가중치 바이트 수로 정해집니다. 프로젝트는 자체 형식 두 가지로 이 바이트 수를 줄입니다. 가중치당 3.75비트인 Fractal-64와 3.00비트인 LUT-VQ3-64이며, 최신 AMD와 Intel 칩에서는 AVX-512 조회 명령으로 디코딩하고 AVX2와 Apple Metal 경로도 있습니다.
대표 빌드는 DeepSeek-V4-Flash-0731로, 파라미터 284.33B 중 토큰당 13.17B가 활성화되는 모델을 64 GB 기기에 들어가는 56.40~56.93 GiB 파일로 만들었습니다. 16~32 GB 노트북용으로 13.30 GiB의 NVIDIA Nemotron-3.5-30B-A3B도 있습니다. ./modchip 스크립트는 미리 빌드된 서버를 내려받고, RAM에 맞는 모델을 고른 뒤, 터미널 채팅, 웹 채팅, 벤치마크, 또는 로컬 엔진에 연결된 Claude Code를 실행합니다.
파일은 이 실행 환경에서만 로드됩니다. LUT-VQ3-64는 새 텐서 타입 43을 추가하고, Fractal-64는 llama.cpp에 이미 있는 타입 번호 42를 다른 구조로 재사용하므로, 수정하지 않은 llama.cpp, Ollama, vLLM, LM Studio는 이를 거부합니다. 프로젝트는 Apache 2.0이며 2026년 10월 29일에 시작되었고, 커밋 거의 전부가 개발자 한 명에게서 나옵니다.
llama-modchip, 쓸 만한 가치가 있습니까?
llama-modchip의 약속은 구체적이며 대부분 문서로 뒷받침됩니다. 파라미터 284B인 DeepSeek-V4-Flash를 그래픽 카드 없는 평범한 64 GB 데스크톱에서 돌린다는 것입니다. 16코어 Zen 5와 듀얼 채널 DDR5-5600에서 README는 기본 MaxQ-Fractal 빌드가 응답 하나를 생성하는 속도를 초당 8.66토큰, 콜드 상태 프롬프트 읽기를 초당 36.1~41.1토큰, 추측 디코더 사용 시 순간 최대 초당 25.3토큰으로 제시합니다. 프로세스는 64 GB Linux 기기가 쓸 수 있는 약 62.5 GiB 중 57.54~58.13 GiB를 차 지해 브라우저에 쓸 여유가 거의 남지 않습니다.
품질 비용이 자체 표에 그대로 실려 있다는 점은 높이 살 만합니다. AtomicChat의 wiki-alt 텍스트에서 284B 빌드의 퍼플렉시티는 7.2977로, 양자화하지 않은 모델의 4.5381보다 60.8% 높고, 프로젝트의 기능 테스트에서는 80점 중 70점입니다. 30B Nemotron 빌드는 원본에 더 가깝습니다. WikiText-2 퍼플렉시티가 6.9582 대비 7.4400이고 같은 테스트에서 100점 중 100점입니다. 모두 유지 관리자가 직접 작성한 테스트로 잰 수치이며, 지금까지 외부 보고는 순위표에 올라온 속도 제출 정도입니다. 예를 들어 Ryzen 9 9950X3D에서 초당 8.11토큰이 있습니다.
실사용에서 가장 큰 약점은 형식입니다. Fractal-64가 기존 텐서 타입 번호를 쓰기 때문에 파일이 공식 파일로 오인되어 명확한 오류 대신 크기 불일치로 실패할 수 있고, 이 포크가 llama.cpp를 계속 따라가 주기를 기대해야 합니다. 미리 빌드된 Linux 바이너리에는 SHA-256 체크섬이 있지만 파일과 같은 릴리스에 들어 있으므로, 깨진 다운로드는 막아도 침해된 릴리스는 막지 못합니다. Windows에서는 빌드 스크립트를 PowerShell 실행 정책 Bypass로 실행합니다.
./modchip claude 는 더미 키로 Claude Code를 로컬 게이트웨이에 연결합니다. 현재 스크립트는 에이전트가 묻지 않고 명령을 실행하게 하는 --dangerously-skip-permissions 를 MODCHIP_CLAUDE_SKIP_PERMS=1 이 설정된 경우에만 추가합니다. 이 변수는 설정하지 마세요. 게이트웨이와 웹 채팅은 127.0.0.1에서 수신하며, GATEWAY_API_KEY가 설정된 경우에만 키를 요구합니다. 거부 기능을 제거한 abliterated 모델 두 가지는 선택 사항이며 명시적으로 확인해야만 설치됩니다.
64 GB를 가진 대부분의 사람에게는 표준 GGUF 파일의 더 작은 모델을 llama.cpp나 Ollama로 돌리는 편이 더 빠르고, 더 검증되었고, 이식성도 좋습니다. colibri는 거대한 MoE 모델로 가는 다른 길을 택해, RAM에 맞게 압축하는 대신 전문가를 디스크에서 읽어 옵니다. llama-modchip은 284B 모델을 꼭 메모리에 상주시키고 싶고, 한 프로젝트에 묶인 형식을 받아들이는 애호가에게 맞습니다.
제 역할을 하는 곳
별도 GPU 없이 64 GB Ryzen 9000 데스크톱을 쓰는 개발자
비공개 프로그래밍 질문에 프런티어급 오픈 모델을 로컬로 쓰고 싶음
저장소를 클론하고 ./modchip chat 을 실행하면 맞는 AVX-512 바이너리와 56.93 GiB MaxQ-Fractal 모델을 받습니다. 컨텍스트 32,768토큰에서 초당 약 9토큰을 예상하고, 무거운 앱을 닫으며, 스왑이 시작되면 zram을 켭니다.
32 GB 노트북을 쓰는 학생
API 요금 없이 Claude Code를 로컬 모델에 연결하고 싶음
기본 13.30 GiB Nemotron-3.5-30B-A3B 빌드는 프로젝트의 Zen 5 시험 기기에서 초당 약 24토큰으로 돌아갑니다. ./modchip claude 가 ANTHROPIC_BASE_URL을 로컬 게이트웨이로 설정합니다. MODCHIP_CLAUDE_SKIP_PERMS는 설정하지 않은 채로 두어 Claude Code가 명령 실행 전에 계속 묻도록 하세요.
양자화 연구자
벡터 양자화 MoE 형식을 Q2_K, Q3_K와 비교하고 싶음
README와 벤치마크 파일에는 같은 텐서에 대한 각 형식의 신호 대 잡음비, 코사인 유사도, 퍼플렉시티, KL 발산이 실려 있고, ./modchip quantize 로 자신의 GGUF 파일도 변환할 수 있습니다. 결과는 유지 관리자의 것이므로 인용하기 전에 다시 실행하세요.
도입 전 확인할 점
- 설정
- git clone 후 Linux나 macOS에서 ./modchip chat 을 실행합니다. ./modchip download-bin 은 AVX-512 또는 AVX2 바이너리를 골라 SHA-256을 확인합니다. Windows는 PowerShell 스크립트로 MinGW-w64 빌드를 해야 합니다. 모델 다운로드는 Nemotron이 13.30 GiB, DeepSeek-V4-Flash가 약 57 GiB입니다.
- 연동
- 포트 8080의 llama.cpp OpenAI 호환 서버, Claude Code가 Anthropic 엔드포인트처럼 대화하는 게이트웨이, 127.0.0.1:8787의 웹 채팅, Hugging Face에서 받는 Synchopate GGUF 파일이 있습니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. 게이트웨이는 127.0.0.1에서 수신하며 GATEWAY_API_KEY가 설정된 경우에만 키를 요구합니다. ./modchip claude 는 더미 Anthropic 키를 설정하고 Claude Code의 비필수 트래픽을 끕니다. 권한 확인을 건너뛰는 것은 MODCHIP_CLAUDE_SKIP_PERMS=1 일 때뿐입니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이고, 비용은 빠른 메모리를 갖춘 64 GB 기기입니다. 속도는 메모리 대역폭에 비례합니다. 듀얼 채널 DDR5의 약 75 GB/s로 284B 모델은 초당 약 9토큰이 나오며, 프로젝트는 8채널 Threadripper에서 30B 모델이 초당 111.62토큰이라고 보고합니다.
- 제한
- 측정된 경우는 한 번에 요청 하나입니다. 284B 모델에서 256K 전체 컨텍스트를 쓰려면 스왑이 있는 데스크톱 환경 없는 64 GB 기기나 96 GB 이상이 필요합니다. 자체 형식은 최고 속도를 내려면 AVX-512 VBMI가 필요하고 다른 실행 환경에서는 로드되지 않습니다.
좋은 점
- DeepSeek-V4-Flash 284B를 56.93 GiB로 만들어 64 GB RAM에 상주
- GPU 없는 데스크톱 CPU에서 초당 약 9토큰
- 속도 수치 옆에 퍼플렉시티와 품질 손실을 공개
- 체크섬이 있는 미리 빌드된 Linux 바이너리, Apple Metal과 Windows 빌드
아쉬운 점
- 파일은 이 포크에서만 로드되며 수정하지 않은 llama.cpp, Ollama, LM Studio에서는 불가
- 자체 테스트에서 양자화 전 284B 모델보다 퍼플렉시티가 60.8% 높음
- 64 GB 데스크톱에서 남는 메모리가 적음
- 출시 2주, 주 유지 관리자 한 명, 하루에도 여러 번 릴리스
추천 대상
64 GB AVX-512 데스크톱에서 DeepSeek-V4-Flash 284B를 CPU만으로 돌리고 싶고, 한 프로젝트 전용 파일 형식을 받아들이는 애호가.
llama-modchip 대안
llama-modchip: 자주 묻는 질문
- llama-modchip, 쓸 만한 가치가 있습니까?
- 284B 모델을 64 GB 데스크톱에서 초당 약 9토큰으로 돌리는 인상적인 압축 기술이지만, 다른 어떤 도구도 읽지 못하는 파일 형식이고 품질 손실도 분명합니다. 평점은 5점 만점에 3.6점입니다.
- llama-modchip의 가격은 얼마입니까?
- 무료 오픈 소스입니다(Apache 2.0). 각 모델은 자체 라이선스를 따릅니다.
- llama-modchip의 단점은 무엇입니까?
- 파일은 이 포크에서만 로드되며 수정하지 않은 llama.cpp, Ollama, LM Studio에서는 불가; 자체 테스트에서 양자화 전 284B 모델보다 퍼플렉시티가 60.8% 높음; 64 GB 데스크톱에서 남는 메모리가 적음; 출시 2주, 주 유지 관리자 한 명, 하루에도 여러 번 릴리스.
- llama-modchip에 적합한 사람은 누구입니까?
- 64 GB AVX-512 데스크톱에서 DeepSeek-V4-Flash 284B를 CPU만으로 돌리고 싶고, 한 프로젝트 전용 파일 형식을 받아들이는 애호가.
- 팀이나 프로덕션 환 경에서 llama-modchip의 비용은 얼마입니까?
- 소프트웨어는 무료이고, 비용은 빠른 메모리를 갖춘 64 GB 기기입니다. 속도는 메모리 대역폭에 비례합니다. 듀얼 채널 DDR5의 약 75 GB/s로 284B 모델은 초당 약 9토큰이 나오며, 프로젝트는 8채널 Threadripper에서 30B 모델이 초당 111.62토큰이라고 보고합니다.
- llama-modchip에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. 게이트웨이는 127.0.0.1에서 수신하며 GATEWAY_API_KEY가 설정된 경우에만 키를 요구합니다. ./modchip claude 는 더미 Anthropic 키를 설정하고 Claude Code의 비필수 트래픽을 끕니다. 권한 확인을 건너뛰는 것은 MODCHIP_CLAUDE_SKIP_PERMS=1 일 때뿐입니다.
- llama-modchip의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 colibri, llama.cpp 및 Ollama입니다.
답변 확인일: 2026년 11월 13일.