bitnet.cpp의 개요
bitnet.cpp는 가중치가 -1, 0, +1 중 하나로 제한되는 1비트 및 1.58비트 언어 모델을 위해 Microsoft Research가 만든 추론 프레임워크입니다. llama.cpp를 기반으로, Microsoft의 T-MAC 연구에서 파생된 룩업 테이블 방식과 I2_S 커널을 x86 및 ARM CPU용으로 더했고, GPU용으로는 별도의 CUDA 커널을 제공합니다.
Microsoft 자체의 BitNet b1.58 2B4T(모델 항목에서 별도 리뷰), 2026년 7월에 공개된 1비트 임베딩 모델 두 개(BitNet-embedding-0.6B와 270M), 그리고 1.58비트 Falcon3 및 Falcon-E 계열과 Llama 3 8B 변환본 같은 일 부 커뮤니티 체크포인트를 실행합니다. 일반 GGUF 모델은 빨라지지 않으며, 일반적인 저비트 모델에 대해서는 Microsoft가 T-MAC을 안내합니다.
저장소는 MIT 라이선스이고 GitHub 스타는 약 41,600개이며, 태그가 붙은 릴리스는 없습니다. 마지막 커밋은 2026년 7월 27일입니다.
bitnet.cpp, 쓸 만한 가치가 있습니까?
bitnet.cpp는 단 하나의 약속을 지킵니다. 3값 가중치로 학습된 모델은 같은 크기의 전체 정밀도 모델보다 일반 프로세서에서 몇 배 빠르게 돌아갑니다. Microsoft는 x86 CPU에서 2.37~6.17배, ARM에서 1.37~5.07배의 속도 향상을 보고했으며, 에너지 사용량은 각각 71.9~82.2%, 55.4~70.0% 줄었습니다. 2026년 1월의 커널 업데이트로 1.15~2.1배가 더해졌습니다.
한계는 공급입니다. 지원 모델 목록은 짧습니다. BitNet b1.58 2B4T, 2026년 7월의 임베딩 모델 두 개, 그리고 0.7B~10B 파라미터의 커뮤니티 체크포인트뿐입니다. README의 대표 주장인, 100B BitNet 모델을 CPU 한 개에서 초당 5~7토큰으로 돌린다는 내용은 Microsoft의 기술 보고서에서 나온 것입니다. 그 크기의 3값 모델은 공개된 적이 없어, 공개 가중치로 이를 재현할 수 있는 사람은 없습니다. 커널 지원 범위도 고르지 않습니다. 임베딩 모델의 최적화 커널은 x86에만 있고, GPU 커널은 2B4T 모델에 맞춰 작성되었습니다.
실행까지는 개발자의 일입니다. 빌드에는 Python 3.10 이상, CMake 3.22, Clang 18이 필요하고 Windows에서는 Visual Studio 2022도 있어야 하며, FAQ 대부분이 빌드 실패에 관한 내용입니다. llama.cpp 포크를 서브모듈로 포함하고 있어 GGUF와 llama.cpp 서버는 물려받지만, 원래 프로젝트의 수정 속도까지 물려받지는 못합니다. 열린 이슈가 219개, 열린 풀 리퀘스트가 159개이고 최근 커밋은 주로 새 모델 발표여서 유지 관리는 빈약해 보입니다.
이미 llama.cpp나 Ollama를 쓰는 사람이라면 바꿀 이유가 없습니다. 이들은 주요 모델을 모두 처리하지만, bitnet.cpp는 처음부터 3값으로 학습된 가중치에만 도움이 됩니다. 대상은 네이티브 1비트 모델에 걸 가치가 있는지 측정하는 연구자와 임베디드 팀이며, 그들에게는 이것이 참조 구현입니다.
제 역할을 하는 곳
오프라인 산업용 게이트웨이 제조사의 임베디드 엔지니어
GPU가 없는 ARM 보드에서 작은 채팅 모델이 작업자의 질문에 답할 수 있는지 확인하고 싶다
bitnet.cpp를 빌드하고 BitNet b1.58 2B4T GGUF를 내려받은 뒤 보드에서 직접 utils/e2e_benchmark.py를 실행해 실제 초당 토큰 수를 측정합니다. Microsoft의 ARM 수치(전체 정밀도보다 1.37~5.07배 빠름)가 상한이고, 실제 제약은 2B 모델의 답변 품질입니다.
중견 전자상거래 기업의 검색 엔지니어
상품 설명 임베딩에 드는 CPU 비용을 줄이고 싶다
BitNet-embedding-0.6B 또는 270M을 I2_S로 변환해 기존 x86 서버에서 제공합니다. Microsoft는 0.6B 모델이 8스레드에서 F16보다 1.42~2.28배 빠른 프리필을 보인다고 보고합니다. 먼저 현재 모델과 검색 품질을 비교하고, I2_S 커널이 ARM에서 돌지 않는다는 점에 유의 하세요.
효율적 머신러닝 연구실의 박사과정 학생
같은 CPU에서 네이티브 3값 모델과 학습 후 양자화 모델을 비교하고 싶다
더미 모델 생성기로 아직 공개 모델이 없는 구조를 벤치마크하고, convert-helper 스크립트로 safetensors 형식의 BF16 체크포인트를 GGUF로 변환합니다. 하드웨어 외에는 비용이 들지 않으며, Microsoft의 기술 보고서가 인용 가능한 기준선이 됩니다.
도입 전 확인할 점
- 설정
- --recursive로 클론하고, Python 3.10 conda 환경을 만들어 의존성을 설치한 뒤, Hugging Face에서 GGUF를 내려받고 setup_env.py로 커널을 빌드합니다. Visual Studio 2022 개발자 셸이 필요한 Windows에서는 빌드 문제 해결을 각오해야 합니다.
- 연동
- 명령줄 채팅용 run_inference.py, llama.cpp 서버를 감싸는 run_inference_server.py, Hugging Face 다운로드, BF16 safetensors에서의 변환, 그리고 2B4T 모델용으로 gpu/ 아래에 있는 별도의 CUDA 커널입니다.
- 데이터와 개인정보
- 전부 자신의 하드웨어에서 실행되며, 모델을 내려받은 뒤에는 아무것도 기기 밖으로 나가지 않습니다. 서버 래퍼는 기본 적으로 127.0.0.1:8080에서 대기하므로 네트워크에 노출하려면 의도적으로 설정해야 합니다. MIT 라이선스입니다. Microsoft의 온라인 데모는 별도의 호스팅 서비스입니다.
- 대규모 사용 시 비용
- 유료 에디션이 없는 무료 소프트웨어이며, 비용은 CPU 시간이고 그것이 바로 이 프로젝트의 목적입니다. Microsoft는 다중 사용자 서비스에 대한 수치를 공개하지 않습니다.
- 제한
- 3값으로 학습된 모델만 이점이 있습니다. 열린 이슈는 219개이고 태그 릴리스는 없습니다. 이 런타임에서 가장 많이 쓰이는 BitNet b1.58 2B4T의 컨텍스트는 4,096토큰입니다.
좋은 점
- Microsoft에 따르면 x86에서 전체 정밀도보다 2.37~6.17배 빠름
- Microsoft 테스트에서 x86 에너지 사용량 71.9~82.2% 감 소
- Microsoft의 3값 LLM과 1비트 임베딩 모델을 실행
- MIT 라이선스이며 llama.cpp의 GGUF 도구를 기반으로 함
아쉬운 점
- 3값으로 학습된 모델만 이점이 있고 그런 모델은 적음
- 태그 릴리스가 없고 빌드에 Clang 18과 CMake 3.22가 필요
- CPU 한 개로 100B라는 주장은 공개 가중치로 검증할 수 없음
- 임베딩 커널은 x86 전용이고 GPU 커널은 모델 하나만 대상
추천 대상
CPU만 있는 하드웨어에서 네이티브 1비트 모델을 시험하는 연구자와 임베디드 엔지니어.
bitnet.cpp 대안
bitnet.cpp: 자주 묻는 질문
- bitnet.cpp, 쓸 만한 가치가 있습니까?
- bitnet.cpp는 3값 모델을 CPU에서 정말 빠르게 돌리지만, 이를 위해 만들어진 모델이 너무 적어 범용 런타임이라기보다 연구용 런타임입니다. 평점은 5점 만점에 3.6점입니다.
- bitnet.cpp의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈 소스입니다. 유료 에디션이나 호스팅 API는 없습니다.
- bitnet.cpp의 단점은 무엇입니까?
- 3값으로 학습된 모델만 이점이 있고 그런 모델은 적음; 태그 릴리스가 없고 빌드에 Clang 18과 CMake 3.22가 필요; CPU 한 개로 100B라는 주장은 공개 가중치로 검증할 수 없음; 임베딩 커널은 x86 전용이고 GPU 커널은 모델 하나만 대상.
- bitnet.cpp에 적합한 사람은 누구입니까?
- CPU만 있는 하드웨어에서 네이티브 1비트 모델을 시험하는 연구자와 임베디드 엔지니어.
- 팀이나 프로덕션 환경에서 bitnet.cpp의 비용은 얼마입니까?
- 유료 에디션이 없는 무료 소프트웨어이며, 비용은 CPU 시간이고 그것이 바로 이 프로젝트의 목적입니다. Microsoft는 다중 사용자 서비스에 대한 수치를 공개하지 않습니다.
- bitnet.cpp에 회사 데이터를 맡겨도 안전합니까?
- 전부 자신의 하드웨어에서 실행되며, 모델을 내려받은 뒤에는 아무것도 기기 밖으로 나가지 않습니다. 서버 래퍼는 기본적으로 127.0.0.1:8080에서 대기하므로 네트워크에 노출하려면 의도적으로 설정해야 합니다. MIT 라이선스입니다. Microsoft의 온라인 데모는 별도의 호스팅 서비스입니다.
- bitnet.cpp의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Foundry Local, Ollama 및 MLX입니다.
답변 확인일: 2026년 11월 14일.