llama-modchipとは？
llama-modchipは、llama.cppへのパッチ、量子化ツール、ラッパースクリプト ./modchip をまとめたもので、大規模なmixture-of-experts（MoE）モデルをCPUだけで動かします。MoEモデルはトークンごとに一部の専門家しか使わないため、CPUでの速度は主に、1トークンあたりメモリから読む重みのバイト数で決まります。プロジェクトは独自の2つの形式でこのバイト数を減らします。1重みあたり3.75ビットのFractal-64と3.00ビットのLUT-VQ3-64で、最近のAMDとIntelのチップではAVX-512の表引き命令で復号し、AVX2とApple Metal向けの経路もあります。
看板はDeepSeek-V4-Flash-0731で、パラメータ284.33B、トークンごとに13.17Bが有効なモデルを、64 GBのマシンに収まる56.40〜56.93 GiBのファイルにしています。16〜32 GBのノートPC向けには13.30 GiBのNVIDIA Nemotron-3.5-30B-A3Bもあります。./modchip スクリプトはビルド済みサーバーをダウンロードし、RAMに合うモデルを選び、ターミナルのチャット、ウェブチャット、ベンチマーク、またはローカルエンジンにつないだClaude Codeを起動します。
ファイルはこの実行環境でしか読み込めません。LUT-VQ3-64は新しいテンソル型43を追加し、Fractal-64はllama.cppに既にある型番号42を別の構造で使い回すため、改変していないllama.cpp、Ollama、vLLM、LM Studioは読み込みを拒否します。ライセンスはApache 2.0で、2026年10月29日に始まり、コミットのほぼすべてが1人の開発者によるものです。
llama-modchipは使う価値があるか？
llama-modchipの約束は具体的で、その大半を文書で示しています。284Bパラメー タのDeepSeek-V4-Flashを、グラフィックカードのない普通の64 GBデスクトップで動かすというものです。16コアのZen 5とデュアルチャネルのDDR5-5600で、READMEは、既定のMaxQ-Fractal版が1つの応答を生成する速度を毎秒8.66トークン、冷えた状態でのプロンプト読み込みを毎秒36.1〜41.1トークン、投機的デコーダー使用時の瞬間値を最大で毎秒25.3トークンとしています。プロセスは、64 GBのLinuxで使える約62.5 GiBのうち57.54〜58.13 GiBを占め、ブラウザーに回す余裕はほとんど残りません。
品質の代償が自らの表に載っている点は評価できます。AtomicChatのwiki-altテキストでは、284B版のパープレキシティは7.2977で、量子化していないモデルの4.5381より60.8%高く、プロジェクトの機能テストでは80点中70点です。30BのNemotron版は元のモデルに近く、WikiText-2でのパープレキシティは6.9582に対して7.4400、同じテストで100点中100点です。いずれも保守者が自作のテストで測ったもので、外部からの報告は今のところランキングへの速度の投稿です。たとえばRyzen 9 9950X3Dで毎秒8.11トークンという例があります。
実用上の最大の弱点は形式です。Fractal-64は既存のテンソル型番号を使うため、ファイルが公式のものと取り違えられ、明確なエラーではなくサイズ不一致で失敗することがあります。また、このフォークがllama.cppに追随し続けることに頼ることになります。ビルド済みのLinuxバイナリにはSHA-256のチェックサムが付きますが、ファイルと同じリリースに置かれているため、守れるのは壊れたダウンロードからであって、侵害されたリリースからではありません。Windowsでは、ビルドスクリプトをPowerShellの実行ポリシーBypassで動かします 。
./modchip claude は、ダミーのキーでClaude Codeをローカルのゲートウェイにつなぎます。現在のスクリプトでは、エージェントが確認なしでコマンドを実行できる --dangerously-skip-permissions を付けるのは MODCHIP_CLAUDE_SKIP_PERMS=1 が設定されたときだけです。この変数は設定しないでおきましょう。ゲートウェイとウェブチャットは127.0.0.1で待ち受け、GATEWAY_API_KEYが設定されたときだけキーを求めます。拒否の仕組みを取り除いたabliteratedモデル2種は任意で、明示的に確認したときだけインストールされます。
64 GBを持つ人の多くにとっては、標準のGGUFファイルの小さめのモデルをllama.cppやOllamaで動かすほうが速く、検証も進んでいて、持ち運びもききます。colibriは巨大なMoEモデルへの別の道を取り、RAMに収まるよう圧縮する代わりに、専門家をディスクから読み出します。llama-modchipが合うのは、284Bのモデルをどうしてもメモリに常駐させたく、1つのプロジェクトに縛られた形式を受け入れる愛好家です。
真価を発揮する場面
単体GPUのない64 GBのRyzen 9000デスクトップを使う開発者
非公開のプログラミングの質問に、フロンティア級のオープンモデルをローカルで使いたい
リポジトリをクローンして ./modchip chat を実行すると、合うAVX-512バイナリと56.93 GiBのMaxQ-Fractalモデルを取得します。コンテキスト32,768トークンで毎秒約9トークンが目安です。重いアプリは閉じ、スワップが始まったらzramを有効にします。
32 GBのノートPCを使う学生
API料金なしでClaude Codeをローカルモデルにつなぎたい
既定の13.30 GiBのNemotron-3.5-30B-A3B版は、プロジェクトのZen 5の試験機で毎秒約24トークンで動きます。./modchip claude はANTHROPIC_BASE_URLをローカルのゲートウェイに設定します。MODCHIP_CLAUDE_SKIP_PERMSは未設定のままにして、Claude Codeがコマンド実行前に確認するようにしましょう。
量子化の研究者
ベクトル量子化したMoE形式をQ2_KやQ3_Kと比べたい
READMEとベンチマークのファイルには、同じテンソルでの各形式のSN比、コサイン類似度、パープレキシティ、KLダイバージェンスが載っており、./modchip quantize で自分のGGUFファイルも変換できます。結果は保守者によるものなので、引用する前に再実行しましょう。
導入前に確認すること
- 導入
- git clone の後、LinuxかmacOSで ./modchip chat を実行します。./modchip download-bin はAVX-512版かAVX2版のバイナリを選び、SHA-256を確認します。WindowsではPowerShellスクリプトによるMinGW-w64のビルドが必要です。モデルのダウンロードはNemotronが13.30 GiB、DeepSeek-V4-Flashが約57 GiBです。
- 連携
- ポート8080のllama.cppのOpenAI互換サーバー、Claude CodeがAnthropicのエンドポイントとして話すゲートウェイ、127.0.0.1:8787のウェブチャット、そしてHugging FaceからのSynchopateのGGUFファイルのダウンロードです。
- データとプライバシー
- ローカルで動きます。ゲートウェイは127.0.0.1で待ち受け、GATEWAY_API_KEYが設定されたときだけキーを求めます。./modchip claude はダミーのAnthropicキーを設定し、Claude Codeの不要な通信を止めます。権限の確認を省くのは MODCHIP_CLAUDE_SKIP_PERMS=1 のときだけです。
- 大規模利用時のコスト
- ソフトウェアは無料で、費用は高速なメモリを積んだ64 GBのマシンです。速度はメモリ帯域に比例し、デュアルチャネルDDR5の約75 GB/sで284Bモデルは毎秒約9トークンです。プロジェクトは8チャネルのThreadripperで30Bモデルが毎秒111.62トークンと報告しています。
- 制限
- 測定されているのは1度に1件のリクエストです。284Bモデルで256Kのフルコンテキストを使うには、スワップ付きでデスクトップ環境のない64 GBのマシンか、96 GB以上が必要です。独自形式は全速力を出すのにAVX-512 VBMIが必要で、ほかの実行環境では読み込 めません。
良い点
- DeepSeek-V4-Flash 284Bを56.93 GiBにし、64 GBのRAMに常駐させる
- GPUなしのデスクトップCPUで毎秒約9トークン
- 速度の数字と並べてパープレキシティと品質低下を公開
- チェックサム付きのビルド済みLinuxバイナリ。Apple MetalとWindows版もある
気になる点
- ファイルはこのフォークでしか読めず、改変していないllama.cpp、Ollama、LM Studioでは使えない
- 自らのテストで、量子化前の284Bモデルよりパープレキシティが60.8%高い
- 64 GBのデスクトップではメモリの空きがほとんど残らない
- 公開から2週間、主な保守者は1人で、1日に何度もリリースされる
おすすめの人
64 GBのAVX-512デスクトップでDeepSeek-V4-Flash 284BをCPUだけで動かしたく、1つのプロジェクト専用のファイル形式を受け入れる愛好家。
llama-modchipの代替
llama-modchip：よくある質問
- llama-modchipは使う価値があるか？
- 284Bのモデルを64 GBのデスクトップで毎秒約9トークンで 動かす見事な圧縮の技ですが、ほかでは読めないファイル形式で、品質の低下もはっきりあります。 評価は5点満点中3.6点です。
- llama-modchipの料金は？
- 無料のオープンソースです（Apache 2.0）。各モデルはそれぞれのライセンスに従います。
- llama-modchipの欠点は？
- ファイルはこのフォークでしか読めず、改変していないllama.cpp、Ollama、LM Studioでは使えない; 自らのテストで、量子化前の284Bモデルよりパープレキシティが60.8%高い; 64 GBのデスクトップではメモリの空きがほとんど残らない; 公開から2週間、主な保守者は1人で、1日に何度もリリースされる.
- llama-modchipは誰に向いているか？
- 64 GBのAVX-512デスクトップでDeepSeek-V4-Flash 284BをCPUだけで動かしたく、1つのプロジェクト専用のファイル形式を受け入れる愛好家。
- チームや本番環境でllama-modchipを使うと費用はいくらか？
- ソフトウェアは無料で、費用は高速なメモリを積んだ64 GBのマシンです。速度はメモリ帯域に比例し、デュアルチャネルDDR5の約75 GB/sで284Bモデルは毎秒約9トークンです。プロジェクトは8チャネルのThreadripperで30Bモデルが毎秒111.62トークンと報告しています。
- llama-modchipは企業データを扱っても安全か？
- ローカルで動きます。ゲートウェイは127.0.0.1で待ち受け、GATEWAY_API_KEYが設定されたときだけキーを求めます。./modchip claude はダミーのAnthropicキーを設定し、Claude Codeの不要な通信を止めます。権限の確認を省くのは MODCHIP_CLAUDE_SKIP_PERMS=1 のときだけです。
- llama-modchipの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はcolibri, llama.cpp 、 Ollamaです。
回答確認日：2026年11月13日