bitnet.cppとは？
bitnet.cppは、重みが-1、0、+1のいずれかに限られる1ビットおよび1.58ビットの言語モデル向けに、Microsoft Researchが開発した推論フレームワークです。llama.cppをベースに、MicrosoftのT-MACの研究か ら派生したルックアップテーブル方式とI2_Sのカーネルをx86およびARMのCPU向けに追加し、GPU向けには別途CUDAカーネルを用意しています。
対応するのは、Microsoft自身のBitNet b1.58 2B4T(モデルの項で別途レビュー)、2026年7月に公開された2つの1ビット埋め込みモデル(BitNet-embedding-0.6Bと270M)、そして1.58ビット版のFalcon3およびFalcon-EファミリーやLlama 3 8Bの変換版といった一部のコミュニティ製チェックポイントです。通常のGGUFモデルは速くなりません。一般的な低ビットモデルについては、MicrosoftはT-MACを案内しています。
リポジトリはMITライセンスで、GitHubスターは約41,600、タグ付きリリースはありません。最後のコミットは2026年7月27日です。
bitnet.cppは使う価値があるか？
bitnet.cppは、ただ一つの約束を果たしています。3値の重みで学習されたモデルは、同じサイズの全精度モデルに比べ、一般的なプロセッサ上で数倍速く動きます。Microsoftの報告では、x86 CPUで2.37〜6.17倍、ARMで1.37〜5.07倍の高速化を実現し、消費電力はそれぞれ71.9〜82.2%、55.4〜70.0%減りました。さらに2026年1月のカーネル更新で、1.15〜2.1倍の上積みがありました。
制約は供給です。対応モデルの一覧は短く、BitNet b1.58 2B4T、2026年7月の2つの埋め込みモデル、そしてパラメータ数0.7B〜10Bのコミュニティ製チェックポイントだけです。READMEの目玉である、100BのBitNetモデルを1基のCPUで毎秒5〜7トークンで動かすという主張は、Microsoftの技術レポートによるものです。その規模の3値モデルは公開されておらず、公開された重みで再現できる人はいません。カーネルの対応範囲にもむらがあり、埋め込みモデ ルの最適化カーネルはx86のみで、GPUカーネルは2B4Tモデル向けに書かれています。
動かすのは開発者の仕事です。ビルドにはPython 3.10以降、CMake 3.22、Clang 18が必要で、WindowsではVisual Studio 2022も要ります。FAQの大半はビルドの失敗に関する内容です。llama.cppのフォークをサブモジュールとして取り込んでいるため、GGUFとllama.cppのサーバーは受け継いでいますが、本家プロジェクトの修正ペースまでは受け継いでいません。オープンなissueが219件、オープンなプルリクエストが159件あり、最近のコミットは主に新モデルの告知で、保守は手薄に見えます。
すでにllama.cppやOllamaを使っている人が乗り換える理由はありません。それらは主要なモデルをすべて扱えますが、bitnet.cppが役立つのは最初から3値で学習された重みだけです。対象となるのは、ネイティブな1ビットモデルに賭ける価値があるかを測る研究者や組み込みチームで、彼らにとってはこれが参照実装です。
真価を発揮する場面
オフラインの産業用ゲートウェイを製造する企業の組み込みエンジニア
GPUのないARMボード上で、小型のチャットモデルがオペレーターの質問に答えられるか確かめたい
bitnet.cppをビルドし、BitNet b1.58 2B4TのGGUFをダウンロードして、ボード上でutils/e2e_benchmark.pyを実行し、実際の毎秒トークン数を測ります。MicrosoftのARMでの数値(全精度より1.37〜5.07倍高速)が上限の目 安で、本当の制約は2Bモデルの回答品質です。
中規模のEC企業の検索エンジニア
商品説明の埋め込み計算にかかるCPUコストを下げたい
BitNet-embedding-0.6Bまたは270MをI2_Sに変換し、既存のx86マシンで提供します。Microsoftによると、0.6Bモデルは8スレッドでF16より1.42〜2.28倍速いプリフィルを実現します。先に現行モデルと検索品質を比較し、I2_SカーネルがARMでは動かない点にも注意してください。
効率的な機械学習を研究する研究室の博士課程の学生
同じCPU上で、ネイティブな3値モデルと学習後量子化モデルを比較したい
ダミーモデル生成ツールで、まだ公開モデルのない構成をベンチマークし、convert-helperスクリプトでsafetensors形式のBF16チェックポイントをGGUFに変換します。ハードウェア以外の費用はかからず、Microsoftの技術レポートが引用可能な比較基準になります。
導入前に確認すること
- 導入
- --recursive付きでクローンし、Python 3.10のconda環境を作って依存関係を入れ、Hugging FaceからGGUFをダウンロードしてsetup_env.pyでカーネルをビルドします。Visual Studio 2022の開発者用シェルが必要なWindowsでは、ビルドのトラブル対応を覚悟してください。
- 連携
- コマンドラインでのチャット用のrun_inference.py、llama.cppのサーバーをラップするrun_inference_server.py、Hugging Faceからのダウンロード、BF16のsafetensorsからの変換、そして2B4Tモデル向けにgpu/以下にある別のCUDAカーネルです。
- データとプライバシー
- すべて自分のハードウェア上で動き、モデルのダウンロード後はマシンの外に何も出ません。サーバーのラッパーは既定で127.0.0.1:8080で待ち受けるため、ネットワークに公開するのは意図的な選択になります。MITライセンスです。Microsoftのオンラインデモは別のホスト型サービスです。
- 大規模利用時のコスト
- 有料版のない無料ソフトウェアで、コストはCPU時間です。それこそがこのプロジェクトの狙いです。Microsoftは複数ユーザー向けの運用に関する数値を公開していません。
- 制限
- 恩恵があるのは3値で学習されたモデルのみ。オープンなissueは219件で、タグ付きリリースはありません。これで最もよく使われるBitNet b1.58 2B4Tのコンテキストは4,096トークンです。
良い点
- Microsoftによると、x86で全精度より2.37〜6.17倍高速
- Microsoftのテストではx86で消費電力が71.9〜82.2%減少
- Microsoftの3値LLMと1ビット埋め込みモデルを実行可能
- MITライセンスで、llama.cppのGGUFツール群を基盤にしている
気になる点
- 恩恵を受けるのは3値で学習されたモデルだけで、その数は少ない
- タグ付きリリースがなく、ビルドにClang 18とCMake 3.22が必要
- 1基のCPUで100Bという主張は公開された重みでは検証できない
- 埋め込みカーネルはx86のみで、GPUカーネルは1つのモデルが対象
おすすめの人
CPUのみのハードウェアでネイティブな1ビットモデルを試す研究者や組み込みエンジニア。
bitnet.cppの代替
bitnet.cpp：よくある質問
- bitnet.cppは使う価 値があるか？
- bitnet.cppは3値モデルをCPU上で本当に高速に動かしますが、対応するモデルがあまりに少ないため、汎用ランタイムというより研究用ランタイムです。 評価は5点満点中3.6点です。
- bitnet.cppの料金は？
- MITライセンスの無料オープンソースです。有料版やホスト型APIはありません。
- bitnet.cppの欠点は？
- 恩恵を受けるのは3値で学習されたモデルだけで、その数は少ない; タグ付きリリースがなく、ビルドにClang 18とCMake 3.22が必要; 1基のCPUで100Bという主張は公開された重みでは検証できない; 埋め込みカーネルはx86のみで、GPUカーネルは1つのモデルが対象.
- bitnet.cppは誰に向いているか？
- CPUのみのハードウェアでネイティブな1ビットモデルを試す研究者や組み込みエンジニア。
- チームや本番環境でbitnet.cppを使うと費用はいくらか？
- 有料版のない無料ソフトウェアで、コストはCPU時間です。それこそがこのプロジェクトの狙いです。Microsoftは複数ユーザー向けの運用に関する数値を公開していません。
- bitnet.cppは企業データを扱っても安全か？
- すべて自分のハードウェア上で動き、モデルのダウンロード後はマシンの外に何も出ません。サーバーのラッパーは既定で127.0.0.1:8080で待ち受けるため、ネッ トワークに公開するのは意図的な選択になります。MITライセンスです。Microsoftのオンラインデモは別のホスト型サービスです。
- bitnet.cppの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はllama.cpp, Foundry Local, Ollama 、 MLXです。
回答確認日：2026年11月14日