Mesh LLMとは？
Mesh LLM は、複数のコンピューターを1つの推論プールにまとめ、localhost:9337/v1 の単一の OpenAI 互換エンドポイントとして公開する Rust のプロジェクトです。ポート3131には Web コンソールがあります。各ノードは、パッチを当てた llama.cpp をもとにしたプロジェ クト独自のランタイム Skippy を動かします。1台のマシンにモデルが収まればそのマシンだけで提供し、収まらなければそのモデルを持つ別のノードにリクエストを回すか、大きな密なモデルを連続したレイヤーの範囲に分けてノード間に配置します。
ノードは iroh を通じて QUIC で通信し、ピア間の通信はエンドツーエンドで暗号化されます。メッシュは、招待トークンで参加するプライベートなものか、Nostr のディスカバリーで公開して知らない人も参加できるものかのどちらかです。リリースのバンドルは macOS の Metal と、CUDA、ROCm、Vulkan、CPU の各版を備えた Linux と Windows に対応し、ランチャーがエンドポイントを Goose、Claude Code、OpenCode、Pi に接続します。
リポジトリは Apache-2.0 で、2026年2月に作られ、GitHub のスターは約3,709、フォークは480です。最新の安定版は v0.78.1（2026年10月5日）で、プレビュー版は10月30日のものまであります。
Mesh LLMは使う価値があるか？
Mesh LLM の中心の考え方は妥当で、スローガンより範囲は狭いものです。できるなら1台のマシンにモデルを収め、できなければそのモデルを持つピアに回し、ほかに手がないときだけモデルをレイヤー単位でマシン間に分割します。この順序は重要です。レイヤー分割ではトークンごとにネットワークを1回またぐ代償があり、プロジェクト自身のドキュメントも分割を目玉ではなく最後の手段として扱っています。
比較対象として真っ先に挙がる Exo との違いは、ハードウェアの幅です。Exo は MLX と Thunderbolt の RDMA を使う Apple silicon で最も強みを発揮します。Mesh LLM は CUDA、ROCm、Vulkan、Metal、CPU のランタイムを備えたバックエンドに依存しない1つのホストを提供するので、Nvidia のデスクトップ、AMD のマシン、Mac が同じメッシュに入れます。自身の比較ページは、RDMA のトランスポートもネイティブの画像生成もないことを認めています。エージェントのランチャーと、1つのプロンプトをすべてのモデルに配って回答をコードで調停する実験的な model: "mesh" モードは、Exo にはない追加機能です。
公開メッシュには注意が必要です。mesh-llm serve --auto は見つけた中で最良の公開メッシュに参加します。通信は転送中に暗号化されますが、リクエストを処理するピアはプロンプトを読めます。ドキュメントは、ピアの評判は身元やモデルの誠実さの証明にならないとはっきり述べており、既定の信頼ポリシーは無効です。非公開のものには、所有者の許可リストを使う非公開のメッシュを動かしてください。
注意点：成熟度です。未解決の issue と pull request は211件、リリースは毎週あり、README の Windows の項は、v0.76.0-rc8 時点でネイティブの経路を妨げていた3つのバグを手動の回避策とともに挙げています。Nvidia のカードを使う Linux のチームが最も楽で、Windows で Ollama 並みの完成度を期待する人は数リリース待つべきです。
真価を発揮する場面
24 GB のゲーミング PC と 64 GB の Mac を持つ開発者
どちらのマシンにも単独では収まらないモデルを動かす
片方のマシンでプライベートなメッシュを起動し、もう片方を招待トークンで参加させ、--split でレイヤー分割した GGUF パッケージを読み込みます。無料ですが、すべてのトークンが LAN を通るので、モデルが収まる1台のマシンより遅くなると考えてください。
遊んでいるワークステーションが3台ある5人のスタートアップ
全員のコーディングエージェントに共有のローカルエンドポイントを1つ与える
所有者の許可リストを使う非公開のメッシュで各マシンに mesh-llm serve を実行し、組み込みのランチャーで Claude Code、Goose、OpenCode を localhost:9337/v1 に向けます。API の請求はありませんが、毎週リリースされるプロジェクトの更新を誰かが担当することになります。
GPU の空き時間がある趣味の利用者
公開プールに計算資源を提供し、他の人のモデルを使う
mesh-llm serve --auto で公開メッシュに参加して提供を始めます。処理するピアに見えるので、知らない人に見せてもよいプロンプトだけを送ってください。
導入前に確認すること
- 導入
- 1行の インストールスクリプト、Apple silicon では Homebrew、または Ubuntu と Arch のパッケージを使い、mesh-llm setup と mesh-llm serve を実行します。README によれば、v0.76.0-rc8 時点ではネイティブの Windows にプレリリース版と手動のランタイム手順が必要でした。
- 連携
- OpenAI 互換の /v1 API（chat completions、completions、Responses）、Goose、Claude Code、OpenCode、Pi 向けのランチャー、コンソールのポートの MCP サーバー、Flash-MoE や DwarfStar などのプラグイン。
- データとプライバシー
- ピア間の通信は QUIC で暗号化され、リレーは読めませんが、リクエストを処理するノードにはプロンプトが見えます。プライベートなメッシュは招待トークンを使います。既定の信頼ポリシーが無効なので、所有者の許可リストはオプトインです。Apache-2.0 です。
- 大規模利用時のコスト
- 有料版はありません。コストは自分のハードウェアと電力です。レイヤー分割は速度と引き換えに容量を得るので、メッシュはより大きな GPU より安いものの、モデルが収まる1台のマシンより遅くなります。
- 制限
- 未解決の issue と pull request は211件。毎週のリリースで挙動が変わります。RDMA もテンソル並列もありません。model: "mesh" のファンアウトモードは実験的とされています。--local-model-only にはシンボリックリンクでない絶対パスの GGUF が必要です。
良い点
- 多数のマシンにまたがる1つの OpenAI 互換エンドポイント
- CUDA、ROCm、Vulkan、Metal、CPU が1つのメッシュに
- まずローカルで提供し、必要なときだけレイヤーで分割する
- 招待トークンと所有者の許可リストによるプライベートなメッシュ
気になる点
- 公開メッシュのピアは処理するプロンプトを読める
- 既定の信頼ポリシーは無効
- 最近のリリースではネイティブの Windows へのインストールに回避策が必要だった
- 速いリリースのペースと211件の未解決の issue と PR
おすすめの人
複数の GPU マシンを持ち、1つのローカルエンドポイントを求め、実験的な分散 ソフトウェアの運用に抵抗のないホームラボの所有者と小規模チーム。
Mesh LLMの代替
Mesh LLM：よくある質問
- Mesh LLMは使う価値があるか？
- ばらばらの GPU の寄せ集めを1つのエンドポイントにしようとする本気の試みですが、まだ粗さが残り、実験的であることを正直に認めています。 評価は5点満点中3.9点です。
- Mesh LLMの料金は？
- 無料のオープンソース（Apache-2.0）です。有料版はなく、ハードウェアは自分で用意します。
- Mesh LLMの欠点は？
- 公開メッシュのピアは処理するプロンプトを読める; 既定の信頼ポリシーは無効; 最近のリリースではネイティブの Windows へのインストールに回避策が必要だった; 速いリリースのペースと211件の未解決の issue と PR.
- Mesh LLMは誰に向いているか？
- 複数の GPU マシンを持ち、1つのローカルエンドポイントを求め、実験的な分散ソフトウェアの運用に抵抗のないホームラボの所有者と小規模チーム。
- チームや本番環境でMesh LLMを使うと費用はいくらか？
- 有料版はありません。コストは自分のハードウェアと電力です。レイヤー分割は速度と引き換えに容量を得るので、メッシュはより大きな GPU より安いものの、モデルが収まる1台のマシンより遅くなります。
- Mesh LLMは企業データを扱っても安全か？
- ピア間の通信は QUIC で暗号化され、リレーは読めませんが、リクエストを処理するノードにはプロンプトが見えます。プライベートなメッシュは招待トークンを使います。既定の信頼ポリシーが無効なので、所有者の許可リストはオプトインです。Apache-2.0 です。
- Mesh LLMの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はllama.cpp, Ollama 、 vLLMです。
回答確認日：2026年10月31日