巨大なAIモデルを普通のPCで動かす：Colibri、Strata、AirLLM、FreeTokenを比較

今では、数千億パラメータのモデルをデスクトップPCで動かせます。そうすべきかどうかは、1つの問いで決まります。モデルのどの部分を、SSD、RAM、グラフィックカードの間でどれくらいの頻度で動かす必要があるかです。4つのオープンソースのエンジンはこの問いに異なる答えを出しており、その答えによって、返答が数秒で返ってくるか、15秒に1語になるかが決まります。

そもそもなぜ動くのか

現在の大規模なオープンモデルの多くは、mixture-of-experts（MoE）モデルです。それぞれが小さな専門ネットワークの集まりで、ある1語に対して仕事をするのはそのうちの少数だけです。7,440億（744 billion）パラメータのモデルでも、1トークンあたりに使う重みは数パーセントかもしれません。よく使われるエキスパートをプロセッサの近くに置き、残りを必要なときに取りに行ければ、データセンター並みのメモリは要りません。

グラフィックメモリを机、RAMを背後の棚、SSDを廊下の先の図書室と考えてください。必要なときに机の上にないエキスパートは、取りに行くたびにコストがかかります。以下のエンジンは、取りに行く回数を減らし、距離を短くするための異なる戦略です。

Colibri：待てるなら、どんなモデルでも

Colibri（4.2）は、ディスクをメモリの一部として扱う純粋なCのエンジンです。最もよく使われる重みをRAMに置き、他のエキスパートをNVMeドライブからストリーミングします。これにより巨大なモデルが控えめなマシンでも起動しますが、その代償はREADMEが率直に書いています。744BのモデルであるGLM-5.2は、プロジェクトが始まった25 GBのノートパソコンで、コールドの状態で毎秒0.05から0.1トークン、つまりおよそ10から20秒に1語の速度でデコードします。128 GBのRyzen AI Max+ 395では1.83に達します。快適に使えるのは小さめのMoEモデルで、Qwen3.6-35B-A3BはCPUで毎秒6.0トークン、CUDAでは30.0で動きます。

注意点：「コールド」とはまだ何もキャッシュされていない状態のことで、大きなモデルでの初回の実行は、壊れているように感じるほど遅いです。大きなモデルは数百ギガバイトのダウンロードも意味します。Colibriは非常に大きなモデルファイルをCで解析しており、8月には8件のセキュリティアドバイザリーを公開したので、モデルファイルは信頼できる入手元からだけ取得してください。

Strata：1つのモデルファミリーを、ゲーミングPCで高速に

Strata（4.0）はその逆です。すべてをゆっくり動かすのではなく、Qwen3.8-Flash-NextとDeepSeek V4.1-Flashを速く動かします。最もよく使われるエキスパートをGPUに固定し、残りはGPUへ運ぶのではなくRAMからCPUで計算し、大きなルックアップテーブルをSSDに置き、投機的デコーディングを使います。これは小さな補助モデルが語の下書きを作り、メインのモデルがそれを確認する方式です。プロジェクト自身の計測では、12 GBのRTX 5070とRyzen 5 7600で、4Kのコンテキストで、Q2_0のパックなら毎秒93トークン、より高品質なIQ3_Sなら53で、AMDのカードでのコミュニティの報告も同じ範囲です。

注意点：これらのパックにはRAMとVRAMの合計で37.6から54.8 GBが必要なので、現実的な最低ラインはRAM 64 GBです。また4Kのコンテキストでの速度は、長いコーディングのセッションを実際より良く見せます。プロジェクトはほぼ1人の開発者の仕事で、数日おきにリリースが出ています。

AirLLM：GPUメモリは最小、必要な忍耐は最大

AirLLMは、一度にモデルの1層だけをGPUに置き、必要になるたびに各層をディスクから読み込みます。READMEが70Bのモデルを4 GBのカードで、Llama 3.1 405Bを8 GBで動くと記載できるのはそのためで、v3系ではKimi K3向けにエキスパート単位のストリーミングが加わり、プロジェクトによると3.72 GBのVRAMで動きました。Pythonのライブラリなので、最初の実験はAutoModelを使った数行で済みます。

注意点：見出しになっているのはメモリの数値で、速度の数値ではありません。AirLLMはまずチェックポイントを層ごとのファイルに分割し、READMEはこれを「very disk-consuming」と呼んでいて（Qwen3.8-Flash-Nextで約360 GB）、ディスクからの読み込みを主なボトルネックとしています。毎秒のトークン数は公開していません。オプションの4ビットまたは8ビットの圧縮で、最大3倍速くなります。

FreeToken：何度も戻ってくるエージェントのために

FreeTokenは大学の研究チームによるもので（論文）、すべての重みをRAMに置き、空いているGPUメモリを、最近使ったエキスパートの共有キャッシュ1つに変えます。エキスパートがないときは、計測した帯域幅に基づいて、PCIe経由でコピーするのとCPUで計算するのとどちらが速いかをその都度判断します。再起動せずに、GPUメモリのエキスパートキャッシュと会話のメモリへの配分を変えることもできます。

際立った特徴はコーディングエージェント向けのものです。エージェントは会話の途中でツールの引数を編集し、コマンドの出力を差し込むため、通常はエンジンがプロンプト全体を再計算しなければなりません。FreeTokenはタスクの論理的な区切りでモデルの内部状態を保存して再利用するので、セッションの10ターン目が1ターン目ほどのコストにならないはずです。Better Stackの解説では、セットアップとOllamaとの速度比較を取り上げています。ライセンスはApache-2.0で、WindowsとLinuxでNVIDIAのRTX 30、40、50のカードに対応し、OpenAI互換とAnthropic互換のAPIを通じてClaude Code、Codex、OpenCodeで使えます。

注意点：今のところNVIDIAのみで、AMDの対応はコミュニティのフォークにしかありません。プロジェクトのページは独自のベンチマークの数値を公開しておらず、未解決のissueが281件あり、変化の速いプロジェクトです。

最初に試すべきもの

エンジンより先にモデルを選んでください。速いランタイムでも、あなたの仕事をこなせないモデルや、使えないライセンスのモデルは救えません。

RAM 64 GBのゲーミングPCで、手早く反応の良いアシスタントがほしいなら、Strataが最短の道です。ただし、使いたいモデルがQwen3.8-Flash-NextかDeepSeek V4.1-Flashである場合に限ります。NVIDIAのカードで長いエージェントのセッションを行うなら、FreeTokenはまさにその用途に合わせて設計されています。返答1つではなく、タスク全体の時間を計ってください。自分のマシンには大きすぎるモデルを試すなら、Colibriはゆっくりとですが動かしてくれ、どれだけ遅いかを正直に教えてくれます。小さなGPUで待つことが苦にならないPythonの実験なら、AirLLMが最もスクリプトにしやすいです。

どれも合わなければ、メモリに収まるモデルには、llama.cppとOllamaが引き続き頼れる選択肢です。

結論：正しいエンジンとは、図書室へ取りに行く頻度があなたの忍耐に見合うものです。「hello」への最初の答えではなく、実際のセッションの2ターン目と10ターン目を計測してください。