Was ist Mesh LLM?
Mesh LLM ist ein Rust-Projekt, das mehrere Computer zu einem Inferenz-Pool verbindet und ihn als einen OpenAI-kompatiblen Endpunkt unter localhost:9337/v1 bereitstellt, mit einer Webkonsole auf Port 3131. Jeder Knoten führt Skippy aus, die eigene Runtime des Projekts auf Basis eines gepatchten llama.cpp. Kann eine Maschine ein Modell halten, bedient sie es allein; andernfalls gehen Anfragen an einen Peer, der das Modell hat, oder große dichte Modelle werden in zusammenhängende Schichtbereiche über Knoten verteilt.
Die Knoten kommunizieren per QUIC über iroh, mit Ende-zu-Ende-verschlüsseltem Verkehr zwischen den Peers. Meshes sind entweder privat, mit Beitritt per Einladungstoken, oder werden über Nostr-Discovery veröffentlicht, sodass Fremde beitreten können. Release-Pakete decken macOS Metal, Linux und Windows mit CUDA-, ROCm-, Vulkan- und CPU-Varianten ab, und Launcher binden den Endpunkt in Goose, Claude Code, OpenCode und Pi ein.
Das Repository steht unter Apache-2.0, wurde im Februar 2026 angelegt und hat etwa 3.709 GitHub-Sterne und 480 Forks. Das neueste stabile Release ist v0.78.1 (5. Oktober 2026), mit Vorschau-Builds bis zum 30. Oktober.
Lohnt sich Mesh LLM?
Die Kernidee von Mesh LLM ist solide und enger als sein Slogan: das Modell auf eine Maschine packen, wenn es geht, an einen Peer weiterleiten, der es hat, wenn nicht, und ein Modell nur dann nach Schichten über Maschinen verteilen, wenn nichts anderes funktioniert. Diese Reihenfolge zählt, denn Schichtaufteilungen kosten bei jedem Token einen Netzwerksprung, und die eigene Dokumentation des Projekts behandelt das Aufteilen als Notlösung, nicht als Aushängeschild.
Vom naheliegenden Vergleich Exo unterscheidet es sich durch die Hardware-Breite. Exo ist am stärksten auf Apple Silicon mit MLX und Thunderbolt-RDMA; Mesh LLM liefert einen backend-neutralen Host mit CUDA-, ROCm-, Vulkan-, Metal- und CPU-Runtimes, sodass ein Nvidia-Desktop, ein AMD-Rechner und ein Mac im selben Mesh sitzen können. Die eigene Vergleichsseite räumt ein, dass es keinen RDMA-Transport und keine native Bildgenerierung gibt. Die Agenten-Launcher und der experimentelle Modus model: "mesh", der einen Prompt an jedes Modell schickt und die Antworten im Code abwägt, sind Extras, die Exo nicht hat.
Das öffentliche Mesh verdient Vorsicht. mesh-llm serve --auto tritt dem besten veröffentlichten Mesh bei, das es findet, und obwohl der Verkehr unterwegs verschlüsselt ist, liest der Peer, der deine Anfrage bedient, deinen Prompt. Die Dokumentation sagt klar, dass die Reputation eines Peers kein Beweis für Identität oder Ehrlichkeit des Modells ist, und die Standard-Vertrauensrichtlinie ist aus. Für alles Private betreibe ein unveröffentlichtes Mesh mit Allowlist für Eigentümer.
Der Haken ist die Reife. Es gibt 211 offene Issues und Pull Requests, Releases erscheinen wöchentlich, und der Windows-Abschnitt im README listet drei Bugs, die den nativen Weg ab v0.76.0-rc8 blockierten, mit einem manuellen Workaround. Teams unter Linux mit Nvidia-Karten haben es am leichtesten; wer unter Windows den Feinschliff von Ollama erwartet, sollte noch ein paar Releases warten.
Wo es sich lohnt
Ein Entwickler mit einem Gaming-PC mit 24 GB und einem Mac mit 64 GB
Ein Modell ausführen, das keine der beiden Maschinen allein halten kann
Auf einer Maschine ein privates Mesh starten, die andere mit dem Einladungstoken beitreten lassen und ein nach Schichten geteiltes GGUF-Paket mit --split laden. Kostenlos; der Preis ist, dass jedes Token durchs LAN geht, rechne also mit weniger Tempo als auf einer einzelnen Maschine, auf die das Modell passt.
Ein Startup mit fünf Leuten und drei ungenutzten Workstations
Den Coding-Agenten aller einen gemeinsamen lokalen Endpunkt geben
mesh-llm serve auf jedem Rechner in einem unveröffentlichten Mesh mit Eigentümer-Allowlist ausführen und Claude Code, Goose oder OpenCode über die eingebauten Launcher auf localhost:9337/v1 zeigen lassen. Keine API-Rechnung, aber jemand kümmert sich um Updates eines Projekts, das wöchentlich ausliefert.
Ein Hobbyist mit freier GPU-Zeit
Rechenleistung in einen öffentlichen Pool einbringen und Modelle anderer nutzen
mesh-llm serve --auto tritt einem veröffentlichten Mesh bei und beginnt zu bedienen. Schick nur Prompts, die du auch einem Fremden zeigen würdest, denn der bedienende Peer sieht sie.
Bevor du dich festlegst
- Einrichtung
- Einzeiliges Installationsskript, Homebrew auf Apple Silicon oder Pakete für Ubuntu und Arch; danach mesh-llm setup und mesh-llm serve. Natives Windows brauchte laut README ab v0.76.0-rc8 ein Prerelease und manuelle Runtime-Schritte.
- Integrationen
- OpenAI-kompatible /v1-API (Chat Completions, Completions, Responses); Launcher für Goose, Claude Code, OpenCode und Pi; ein MCP-Server auf dem Konsolen-Port; Plugins wie Flash-MoE und DwarfStar.
- Daten und Datenschutz
- Der Peer-Verkehr ist per QUIC verschlüsselt, und Relays können ihn nicht lesen, aber der Knoten, der eine Anfrage bedient, sieht den Prompt. Private Meshes nutzen Einladungstokens; die Eigentümer-Allowlist ist optional, weil die Standard-Vertrauensrichtlinie aus ist. Apache-2.0.
- Kosten im großen Maßstab
- Keine kostenpflichtige Stufe. Die Kosten sind deine eigene Hardware und der Strom; Schichtaufteilungen tauschen Tempo gegen Kapazität, ein Mesh ist also günstiger als eine größere GPU, aber langsamer als eine einzelne Maschine, auf die das Modell passt.
- Grenzen
- 211 offene Issues und Pull Requests; wöchentliche Releases ändern das Verhalten; kein RDMA und keine Tensor-Parallelität; der Verteilmodus model: "mesh" ist als experimentell markiert; --local-model-only braucht absolute GGUF-Pfade ohne Symlinks.
Was gut ist
- Ein OpenAI-kompatibler Endpunkt über viele Maschinen
- CUDA, ROCm, Vulkan, Metal und CPU in einem Mesh
- Bedient zuerst lokal und teilt nur bei Bedarf nach Schichten
- Private Meshes mit Einladungstokens und Allowlists für Eigentümer
Was nicht
- Peers im öffentlichen Mesh können die Prompts lesen, die sie bedienen
- Die Standard-Vertrauensrichtlinie ist aus
- Die native Windows-Installation brauchte in jüngsten Releases Workarounds
- Schnelles Release-Tempo und 211 offene Issues und PRs
Am besten für
Homelab-Besitzer und kleine Teams mit mehreren GPU-Rechnern, die einen lokalen Endpunkt wollen und mit experimenteller verteilter Software zurechtkommen.
Alternativen zu Mesh LLM
Mesh LLM: häufige Fragen
- Lohnt sich Mesh LLM?
- Ein ernsthafter Versuch, eine Schublade voller unterschiedlicher GPUs zu einem Endpunkt zu machen, an den Rändern noch rau und ehrlich darin, dass es experimentell ist. Wir bewerten es mit 3.9 von 5.
- Was kostet Mesh LLM?
- Kostenlos und Open Source (Apache-2.0). Keine kostenpflichtige Edition; die Hardware stellst du.
- Welche Nachteile hat Mesh LLM?
- Peers im öffentlichen Mesh können die Prompts lesen, die sie bedienen; Die Standard-Vertrauensrichtlinie ist aus; Die native Windows-Installation brauchte in jüngsten Releases Workarounds; Schnelles Release-Tempo und 211 offene Issues und PRs.
- Für wen eignet sich Mesh LLM?
- Homelab-Besitzer und kleine Teams mit mehreren GPU-Rechnern, die einen lokalen Endpunkt wollen und mit experimenteller verteilter Software zurechtkommen.
- Was kostet Mesh LLM für ein Team oder im Produktivbetrieb?
- Keine kostenpflichtige Stufe. Die Kosten sind deine eigene Hardware und der Strom; Schichtaufteilungen tauschen Tempo gegen Kapazität, ein Mesh ist also günstiger als eine größere GPU, aber langsamer als eine einzelne Maschine, auf die das Modell passt.
- Ist Mesh LLM sicher für Firmendaten?
- Der Peer-Verkehr ist per QUIC verschlüsselt, und Relays können ihn nicht lesen, aber der Knoten, der eine Anfrage bedient, sieht den Prompt. Private Meshes nutzen Einladungstokens; die Eigentümer-Allowlist ist optional, weil die Standard-Vertrauensrichtlinie aus ist. Apache-2.0.
- Was sind die besten Alternativen zu Mesh LLM?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama und vLLM.
Antworten geprüft am 31. Okt. 2026.