¿Qué es Mesh LLM?
Mesh LLM es un proyecto en Rust que une varios ordenadores en un único grupo de inferencia y lo expone como un solo endpoint compatible con OpenAI en localhost:9337/v1, con una consola web en el puerto 3131. Cada nodo ejecuta Skippy, el runtime propio del proyecto basado en un llama.cpp parcheado. Si una máquina puede alojar un modelo, lo sirve sola; si no, las peticiones se dirigen a un par que tenga el modelo, o los modelos densos grandes se dividen en rangos contiguos de capas entre nodos.
Los nodos se comunican por QUIC a través de iroh, con tráfico cifrado de extremo a extremo entre pares. Las mallas son privadas, con acceso por token de invitación, o se publican mediante el descubrimiento de Nostr para que desconocidos puedan unirse. Los paquetes de versión cubren macOS Metal, Linux y Windows con variantes CUDA, ROCm, Vulkan y CPU, y unos lanzadores conectan el endpoint con Goose, Claude Code, OpenCode y Pi.
El repositorio es Apache-2.0, creado en febrero de 2026, con unas 3.709 estrellas en GitHub y 480 forks. La última versión estable es la v0.78.1 (5 de octubre de 2026), con compilaciones preliminares de hasta el 30 de octubre.
¿Merece la pena Mesh LLM?
La idea central de Mesh LLM es sólida y más acotada que su eslogan: encajar el modelo en una sola máquina cuando se puede, dirigir la petición a un par que lo tenga cuando no, y dividir un modelo entre máquinas por capas solo cuando nada más funciona. Ese orden importa, porque las divisiones por capas pagan un salto de red en cada token, y la propia documentación del proyecto trata la división como último recurso y no como reclamo.
Donde se diferencia de Exo, la comparación obvia, es en la variedad de hardware. Exo brilla sobre todo en Apple silicon con MLX y RDMA por Thunderbolt; Mesh LLM incluye un único host neutral respecto al backend con runtimes CUDA, ROCm, Vulkan, Metal y CPU, así que un ordenador de sobremesa con Nvidia, un equipo AMD y un Mac pueden estar en la misma malla. Su propia página comparativa admite que no tiene transporte RDMA ni generación nativa de imágenes. Los lanzadores de agentes y el modo experimental model: "mesh", que envía un mismo prompt a todos los modelos y arbitra las respuestas en código, son extras que Exo no tiene.
La malla pública merece cautela. mesh-llm serve --auto se une a la mejor malla publicada que encuentra, y aunque el tráfico va cifrado en tránsito, el par que atiende tu petición lee tu prompt. La documentación dice claramente que la reputación de un par no es prueba de identidad ni de honestidad del modelo, y la política de confianza por defecto está desactivada. Para cualquier cosa privada, usa una malla no publicada con lista de propietarios permitidos.
La pega es la madurez. Hay 211 incidencias y pull requests abiertas, las versiones salen cada semana y la sección de Windows del README enumera tres fallos que bloqueaban la vía nativa en la v0.76.0-rc8, con una solución manual. Los equipos con Linux y tarjetas Nvidia lo tendrán más fácil; quien espere el pulido de Ollama en Windows debería esperar unas cuantas versiones.
Dónde se gana su sitio
Un desarrollador con un PC gaming de 24 GB y un Mac de 64 GB
Ejecutar un modelo que ninguna de las dos máquinas puede alojar sola
Inicia una malla privada en una máquina, une la otra con el token de invitación y carga un paquete GGUF dividido por capas con --split. Gratis; el precio es que cada token cruza la red local, así que espera que vaya más lento que una sola máquina en la que quepa el modelo.
Una startup de cinco personas con tres estaciones de trabajo ociosas
Dar al agente de programación de todos un único endpoint local compartido
Ejecuta mesh-llm serve en cada equipo en una malla no publicada con lista de propietarios permitidos y apunta Claude Code, Goose u OpenCode a localhost:9337/v1 mediante los lanzadores integrados. Sin factura de API, pero alguien se encarga de actualizar un proyecto que publica cada semana.
Un aficionado con tiempo de GPU libre
Aportar cómputo a un grupo público y usar modelos de otras personas
mesh-llm serve --auto se une a una malla publicada y empieza a servir. Envía solo prompts que enseñarías a un desconocido, porque el par que los atiende los ve.
Antes de decidirte
- Puesta en marcha
- Script de instalación de una línea, Homebrew en Apple silicon o paquetes para Ubuntu y Arch; después mesh-llm setup y mesh-llm serve. En Windows nativo hacía falta una versión preliminar y pasos manuales con el runtime en la v0.76.0-rc8, según el README.
- Integraciones
- API /v1 compatible con OpenAI (chat completions, completions, Responses); lanzadores para Goose, Claude Code, OpenCode y Pi; un servidor MCP en el puerto de la consola; plugins como Flash-MoE y DwarfStar.
- Datos y privacidad
- El tráfico entre pares va cifrado con QUIC y los relés no pueden leerlo, pero el nodo que atiende una petición ve el prompt. Las mallas privadas usan tokens de invitación; la lista de propietarios permitidos es opcional porque la política de confianza por defecto está desactivada. Apache-2.0.
- Coste a escala
- Sin nivel de pago. El coste es tu propio hardware y la electricidad; las divisiones por capas cambian velocidad por capacidad, así que una malla es más barata que una GPU mayor pero más lenta que una sola máquina en la que quepa el modelo.
- Límites
- 211 incidencias y pull requests abiertas; las versiones semanales cambian el comportamiento; sin RDMA ni paralelismo de tensores; el modo de reparto model: "mesh" está marcado como experimental; --local-model-only necesita rutas GGUF absolutas y sin enlaces simbólicos.
Lo bueno
- Un solo endpoint compatible con OpenAI sobre muchas máquinas
- CUDA, ROCm, Vulkan, Metal y CPU en una misma malla
- Sirve primero en local y divide por capas solo cuando hace falta
- Mallas privadas con tokens de invitación y listas de propietarios permitidos
Lo malo
- Los pares de la malla pública pueden leer los prompts que atienden
- La política de confianza por defecto está desactivada
- La instalación nativa en Windows necesitó soluciones manuales en versiones recientes
- Ritmo de versiones rápido y 211 incidencias y PR abiertas
Ideal para
Propietarios de homelabs y equipos pequeños con varias máquinas con GPU que quieren un único endpoint local y se sienten cómodos con software distribuido experimental.
Alternativas a Mesh LLM
Mesh LLM: preguntas frecuentes
- ¿Merece la pena Mesh LLM?
- Un intento serio de convertir un cajón de GPU dispares en un solo endpoint, aún tosco en los bordes y honesto sobre su carácter experimental. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta Mesh LLM?
- Gratuito y de código abierto (Apache-2.0). Sin edición de pago; tú pones el hardware.
- ¿Qué inconvenientes tiene Mesh LLM?
- Los pares de la malla pública pueden leer los prompts que atienden; la política de confianza por defecto está desactivada; la instalación nativa en Windows necesitó soluciones manuales en versiones recientes; ritmo de versiones rápido y 211 incidencias y PR abiertas.
- ¿Para quién es Mesh LLM?
- Propietarios de homelabs y equipos pequeños con varias máquinas con GPU que quieren un único endpoint local y se sienten cómodos con software distribuido experimental.
- ¿Cuánto cuesta Mesh LLM para un equipo o en producción?
- Sin nivel de pago. El coste es tu propio hardware y la electricidad; las divisiones por capas cambian velocidad por capacidad, así que una malla es más barata que una GPU mayor pero más lenta que una sola máquina en la que quepa el modelo.
- ¿Es Mesh LLM seguro para los datos de la empresa?
- El tráfico entre pares va cifrado con QUIC y los relés no pueden leerlo, pero el nodo que atiende una petición ve el prompt. Las mallas privadas usan tokens de invitación; la lista de propietarios permitidos es opcional porque la política de confianza por defecto está desactivada. Apache-2.0.
- ¿Cuáles son las mejores alternativas a Mesh LLM?
- Las alternativas más cercanas que hemos analizado son llama.cpp, Ollama y vLLM.
Respuestas comprobadas el 31 oct 2026.