colibriとは？
colibri は、メモリーに収まらない非常に大きなオープンの mixture-of-experts（MoE）モデルを、それを保持できないマシンで動かします。MoE モデルはトークンごとに一部の「エキスパー ト」しか使わないため、colibri は常に使われる部分を RAM に置き、モデルが求めるたびにエキスパートをディスクから読み込みます。C で書かれ、モデルのファミリーごとに1つのファイルがあり、GPU は不要で、カードがあれば CUDA か Vulkan を使います。最小構成は、最も小さいモデルで RAM 8 GB とディスク 22 GB です。
現在動くエンジンは 13 あり、GLM-5.2 と 5.3、Kimi K3、DeepSeek V4 と V4.1 Flash、Qwen3.6、Qwen3.8-Flash-Next、画像モデルの Qwen-Image-2.1 などが含まれます。OpenAI と Anthropic 互換の API と Web のダッシュボードを提供します。
System One モードもあります。POST /v1/systemone は TypeSafe の Jev のリクエストを受け付け、Jev の応答形式で返します。colibri が動かすどのチャットモデルも、許可された選択肢を採点して回答でき、3つの判定モデル、Laya、GLiNER2.5-Decide、Cloudflare の Clef がネイティブに動きます。以前の /v1/brio のルートは、バージョン 1.12.1 の後にこのエンドポイントに統合されました。Vincenzo Fornaro が Apache 2.0 で保守しています。
colibriは使う価値があるか？
colibri は llama.cpp や Ollama が目指していないことをします。ディスクをメモリーの一部として扱い、数千億パラメーターのモデルをデスクトップで動かすことです。自身の数値はその代償について正直です。744B のモデルである GLM-5.2 は、プロジェクトが始まった 25 GB のノートパソコンではコールド状態で毎秒 0.05〜0.1 トークン、128 GB の Ryzen AI Max+ 395 では 1.83、RTX 5090 を6枚使うと 9.0〜9.2 でデコードします。小さめの MoE モデルなら実用的で、Qwen3.6-35B-A3B は CPU で毎秒 6.0 トークン、CUDA では 30.0 に達します。
プロジェクトは人気があり活発で、2026年7月以降に GitHub のスターは約 43,500 になりました。2026年10月6日のバージョン 2.0.0 には 169 件のプルリクエストがまとめられ、うち 88 件は外部のコントリビューターによるもので、すべてのエンジンでの Vulkan 対応と、最大 16 の同時の会話が加わりました。README は欠けている部分について珍しく率直です。メンテナーは単体の GPU での Vulkan の速度を自分たちでは計測していないと述べ、最初の数値である Tesla V100 での Qwen3.6 の毎秒 17〜19 トークンはユーザーによるものでした。
非常に大きなモデルのファイルを C で解析するため、セキュリティの記録には注意が必要です。2026年8月5日、プロジェクトは8件のアドバイザリーを公開し、そのうち6件は深刻度が高いものでした。細工された safetensors や設定ファイルによるヒープとスタックのオーバーフロー、KV キャッシュの外に書き込む負の max_tok、認証のない /profile エンドポイントが対象です。サーバーは初期設定で localhost にバインドし、COLI_API_KEY が設定されたときだけキーを要求するため、1台のマシンを超えて使うならその変数が必要で、モデルのファイルは信頼できる入手元から取得すべきです。
System One のゲートウェイはよく考えられた追加機能です。Jev のクライアントはベース URL を変えるだけで切り替えられ、ドキュメントによれば TypeSafe の2つの公式 SDK は変更なしでこれに対してテストされています。確率は Jev ではなく自分のモデルによるもので、一致はしません。CPU では Laya が 219 ms、GLiNER2.5-Decide が 294 ms で答えますが、Clef は int8 でリクエストあたり 20.4 秒かかるため、27B の判定モデルには今も GPU が必要です。
実際の GPU で多数のユーザーに提供するなら、vLLM と SGLang が引き続き適したツールです。16 の KV スロットは家庭や小さなチームに向いており、製品向けではありません。より公平な比較対象は llama.cpp で、小さめのモデルは RAM から扱えますが、429 GB のチェックポイントを NVMe ドライブからストリーミングしようとはしません。
真価を発揮する場面
128 GB の Ryzen AI Max+ 395 のワークステーションを持つ研究者
オフラインの実験のために GLM-5.2（744B）をローカルで動かしたい
429 GB の int4 のチェックポイントを NVMe にダウンロードして coli chat を実行します。プロジェクトはこのマシンでウォーム状態で毎秒 1.83 トークンと計測しています。API の請求はありませんが、長い回答には数分かかるため、対話的なコーディングよりバッチ処理の質問に向いています。
内蔵の Radeon 780M を備えた 32 GB のデスクトップを使う開発者
Claude Code や OpenAI 互換のエディターをローカルのモデルに向けたい
Qwen3.6-35B-A3B（23 GB のダウンロード）は RAM から、CPU で毎秒 6.0 トークン、内蔵 GPU の Vulkan で 9.9 で動きます。ANTHROPIC_BASE_URL をローカルのサーバーに設定すれば、何もマシンの外に出ません。
API の容量を買う前に Jev ベースのチケットの振り分けを試作するプロダクトチーム
判定のプロンプトをオフラインで試したい
Laya（RAM 1.7 GB、i7 のノートパソコンで1問あたり 219 ms）を /v1/systemone の背後で動かし、TYPESAFE_BASE_URL だけを変えます。確率はホスト型の Jev と異なるため、戻す前にしきい値を調整し直す必要があります。
導入前に確認すること
- 導入
- Linux か macOS では ./start-here.sh、Windows では START-HERE.bat を実行します。RAM、ディスク、GPU を確認し、モデルを推奨し、エンジンをビルドかダウンロードし、中断したダウンロードを再開します。最小構成は RAM 8 GB とディスク 22 GB で、大きなモデルには数百 GB の NVMe が必要です。
- 連携
- OpenAI 互換の /v1/chat/completions、Anthropic 互換の /v1/messages、Qwen-Image-2.1 向けの /v1/images/generations、Jev 形式の判定向けの /v1/systemone、Web のダッシュボード、設定作業向けの MCP サーバー（coli mcp）があります。
- データとプライバシー
- ローカルで動きます。README にリモートのテレメトリーの記載はなく、ローカルのルーティング履歴のファイル（.coli_usage）だけです。localhost にバインドし、COLI_API_KEY があるときだけキーを要求します。2026年8月のアドバイザリーは、細工されたモデルファイルと認証のない /profile エンドポイントを対象としていました。Qwen-Image-2.1 の重みは非商用です。
- 大規模利用時のコスト
- ソフトウェアは無料で、費用はハードウェアです。GLM-5.2 は、すべてのエキスパートを RTX 5090 6枚に載せると毎秒 9.0〜9.2 トークンでデコードし、Kimi K3 は 1.56 TB のダウンロードで1トークンあたり約 9.4 秒です。スループットはディスクの速度で決まり、2台目の NVMe ドライブでデコードが +37.5% になったと計測されています。
- 制限
- 最大のモデルは毎秒1未満から1桁のトークン数で動きます。同時の会話は最大 16 です。Vulkan の出力は CPU の出力と1単語ずれることがあります。未解決の issue とプルリクエストは 141 件で、多くは GPU の検出と Windows の CUDA のビルドに関するものです。
良い点
- エキスパートのストリーミングで、744B 級の MoE モデルを RAM 16〜24 GB で動かせます
- 純粋な C で GPU は必須ではなく、あれば CUDA、Vulkan、Metal を使います
- Jev 互換の /v1/systemone エンドポイントで、Laya、GLiNER、Clef がネイティブに動きます
- ダウンロードを再開できる1ステップの設定で、2026年10月に v2.0.0 が出ました
気になる点
- 最大のモデルでは毎秒1桁か1未満のトークン 数です
- 2026年8月5日にセキュリティアドバイザリーが8件あり、6件は深刻度が高いものでした
- COLI_API_KEY を設定しない限り API キーは要求されません
- スループットはディスクの速度に大きく左右されます
おすすめの人
最先端規模のオープンの MoE モデルを自分のマシンで動かしたい、あるいは Jev 形式の判定を試作したい愛好家や開発者に向いています。
colibriの代替
colibri：よくある質問
- colibriは使う価値があるか？
- ディスクか らストリーミングする C のエンジンで、744B パラメーターのオープンモデルをデスクトップで、ゆっくりと動かします。Jev の判定 API の誠実なローカルの代替も付いています。 評価は5点満点中4.2点です。
- colibriの料金は？
- 無料のオープンソース（Apache 2.0）です。各モデルはそれぞれのライセンスに従います。
- colibriの欠点は？
- 最大のモデルでは毎秒1桁か1未満のトークン数です; 2026年8月5日にセキュリティアドバイザリーが8件あり、6件は深刻度が高いものでした; COLI_API_KEY を設定しない限り API キーは要求されません; スループットはディスクの速度に大きく左右されます.
- colibriは誰に向いているか？
- 最先端規模のオープンの MoE モデルを自分のマシンで動かしたい、あるいは Jev 形式の判定を試作したい愛好家や開発者に向いています。
- チームや本番環境でcolibriを使うと費用はいくらか？
- ソフトウェアは無料で、費用はハードウェアです。GLM-5.2 は、すべてのエキスパートを RTX 5090 6枚に載せると毎秒 9.0〜9.2 トークンでデコードし、Kimi K3 は 1.56 TB のダウンロードで1トークンあたり約 9.4 秒です。スループットはディスクの速度で決まり、2台目の NVMe ドライブでデコードが +37.5% になったと計測されています。
- colibriは企業データを扱っても安全か？
- ローカルで動きます。README にリモートのテレメトリーの記載はなく、ローカルのルーティング履歴のファイル（.coli_usage）だけです。localhost にバインドし、COLI_API_KEY があるときだけキーを要求します。2026年8月のアドバイザリーは、細工されたモデルファイルと認証のない /profile エンドポイントを対象としていました。Qwen-Image-2.1 の重みは非商用です。
- colibriの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はllama.cpp, Ollama, vLLM, SGLang 、 Layaです。
回答確認日：2026年10月23日