Skip to content

Magnitude

Motor de inferencia local y aplicación de escritorio que ajusta sus kernels de GPU para cada modelo en tu máquina, con conexión en un clic a agentes de programación.

Reseña de Sheela · Actualizado

Ver en GitHub Código abierto

Nuestra nota

3.6/5

Una idea inteligente con velocidad real detrás en algunas máquinas, pero el titular de 2x es una medición de la propia empresa y no se ha confirmado en el hardware de todos los usuarios.

¿Qué es Magnitude?

Magnitude ejecuta modelos abiertos en tu propio ordenador y los conecta con el agente de programación que ya usas. Cuando descargas un modelo, dedica hasta un minuto en tu chip a probar distintas formas de repartir el trabajo entre los hilos de la GPU y se queda con la combinación más rápida que no cambia la salida. Cada modelo compatible incluye un drafter de decodificación especulativa (MTP, DFlash, DSpark o LiLiCorr), y las sesiones comparten cachés de prefijos.

El motor está escrito en Rust sobre Seismic, el compilador y runtime propios de Magnitude, que funciona con CPU, Apple Metal, NVIDIA CUDA (Ampere y posteriores) y Vulkan; no hay backend ROCm. Se distribuye como aplicación de escritorio y CLI para macOS, Windows y Linux, sirve APIs compatibles con OpenAI y Anthropic en el puerto 10100 y configura Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi y Cline en un clic.

Magnitude AI Inc. creó el repositorio el 12 de junio de 2026; tiene licencia Apache-2.0 y publicó la CLI 0.2.13 el 28 de octubre de 2026, su tercera versión en tres días.

¿Merece la pena Magnitude?

Magnitude puede ser más rápido que los motores con los que se compara, pero cuánto depende mucho de la máquina, y todas las cifras destacadas son del propio fabricante. En su Launch HN de la promoción S25 de Y Combinator, a principios de octubre de 2026, los fundadores afirmaron hasta el doble de la velocidad de llama.cpp, con Qwen 3.6 35B A3B a 4 bits y un prompt de 64K tokens: la decodificación pasó de 30 a 57 tokens por segundo en un Mac con M4 Pro (92%), pero solo de 49 a 58 en un DGX Spark (19%), y el prefill ganó un 9% y un 23%. La comparación no era en igualdad de condiciones: los fundadores dijeron que ejecutaron llama.cpp con una caché KV de 16 bits porque su caché comprimida ralentizaba la decodificación, mientras que Magnitude usó su propia caché comprimida.

La página de benchmarks compara ahora con Ollama v0.35.1, con 11 modelos en un Mac mini con M4 Pro de 48 GB y en un DGX Spark: decodificación media 2,19 y 2,17 veces más rápida, prefill unas 1,3 veces. La dispersión es amplia, desde 4,84 veces más rápido (decodificación de Qwen 3.5 4B en el Spark) hasta 0,76 veces, es decir, más lento, con Nemotron 3.5, y la página advierte de que el flojo drafting de Ollama en tres modelos Gemma infla esas ganancias y de que no se puntuó la calidad de las respuestas. En el hilo de Hacker News, varios usuarios publicaron la otra cara: en un M5 Max uno vio llama.cpp aproximadamente el doble de rápido que Magnitude 0.2.1, otro midió rapid-mlx a 175 tokens por segundo frente a 161 de Magnitude, y en una RTX 5070 Ti llama.cpp decodificaba entre un 20 y un 30% más rápido. Los fundadores dijeron que los Mac con M5 son un punto débil conocido porque los kernels aún no usan el hardware de matrices de Metal 4.

Los valores locales por defecto son sensatos. La API escucha en 127.0.0.1:10100 sin clave para la misma máquina; activar el acceso por red exige una clave generada, ralentiza los intentos tras cinco fallos y sigue usando HTTP sin cifrar, así que la documentación recomienda Tailscale, SSH o un proxy HTTPS. Según nuestra lectura del código, sus trazas de OpenTelemetry van a un colector en 127.0.0.1. La conexión con Claude Code reescribe ~/.claude/settings.json para enviar todas las peticiones, incluidas las de Claude alojado, a través del gateway local de Magnitude, que debes mantener en marcha y deshacer después.

Donde se queda por detrás de Ollama y llama.cpp es en alcance. Las builds de CUDA excluyen las tarjetas anteriores a Ampere, las GPU de AMD e Intel solo funcionan con Vulkan y la velocidad depende de kernels escritos a mano para las familias de modelos populares que Magnitude decide soportar. Dos desarrolladores escribieron casi todo el código, y hay 30 incidencias abiertas, entre ellas instalaciones atascadas en la evaluación del modelo y fallos en distribuciones Linux distintas de Ubuntu.

Dónde se gana su sitio

  • Un desarrollador con un Mac con Apple silicon de 48 GB que usa OpenCode

    Obtener completados locales más rápidos que los que da Ollama con el mismo modelo

    Instalar la aplicación, elegir la opción Balanced de Discover y pulsar Connect para OpenCode. En la prueba del fabricante con M4 Pro, la decodificación fue de media 2,19 veces la velocidad de Ollama; comprueba tu propio modelo en Usage, ya que tres resultados de Gemma en el Mac estaban inflados por el flojo drafting de Ollama.

  • Un estudio de tres personas con una estación de trabajo con RTX 4090

    Compartir un modelo local con todos los portátiles de la oficina

    Ejecutar `magnitude server setup` para que arranque con el sistema y se actualice solo, activar el acceso por red y dar la clave de API a cada portátil. La conexión es HTTP sin cifrar, así que ponla en Tailscale o detrás de un proxy HTTPS; en remoto solo está disponible la inferencia.

  • Un ingeniero de un equipo que usa Claude Code y quiere una alternativa sin conexión

    Usar Claude Code con un modelo local cuando se agotan los límites del plan

    Conectar Claude Code desde Magnitude y arrancarlo con `claude --model anthropic-local/<id>`. La conexión reescribe ~/.claude/settings.json y hace pasar también las peticiones alojadas por el gateway local, así que desconecta y reinicia Claude Code antes de volver a usarlo por su cuenta.

Antes de decidirte

Puesta en marcha
`curl -fsSL https://magnitude.dev/install.sh | sh`, el equivalente en PowerShell o los instaladores .dmg, .exe, .deb, .rpm y pacman. Cada descarga de modelo añade hasta un minuto de ajuste de kernels antes del primer uso.
Integraciones
API compatible con OpenAI en 127.0.0.1:10100/inference/v1 y compatible con Anthropic en /inference/anthropic; configuración en un clic para Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi y Cline. Los backends son CPU, Metal, CUDA (Ampere y posteriores) y Vulkan.
Datos y privacidad
Según la documentación, los prompts y los modelos se quedan en local; los modelos están en ~/.magnitude/models y, según nuestra lectura del código, las trazas de OpenTelemetry van a un colector en 127.0.0.1. En la misma máquina no hace falta clave; el acceso por red la exige y usa HTTP sin cifrar. Apache-2.0, con cada modelo bajo su propia licencia.
Coste a escala
No hay ninguna edición de pago documentada, así que el coste es el hardware. Los benchmarks del fabricante usaron un Mac mini de 48 GB con M4 Pro y un DGX Spark de 128 GB; el modo servidor encaja con una estación de trabajo compartida más que con un servicio de alta concurrencia.
Límites
30 incidencias abiertas, entre ellas la evaluación del modelo atascada (#142) y las instalaciones en Linux distintos de Ubuntu (#22); tres versiones de la CLI en tres días; sin ROCm ni CUDA anterior a Ampere; la velocidad depende de kernels escritos para las familias de modelos que soporta.

Lo bueno

  • Ajuste de kernels por máquina y un drafter para cada modelo compatible
  • Herramienta de benchmarks de código abierto y resultados por modelo
  • Localhost por defecto; el acceso por red necesita una clave
  • Configuración en un clic para Claude Code, Codex, OpenCode, Cline y otros

Lo malo

  • Las cifras de velocidad las declara la propia empresa; usuarios vieron llama.cpp o MLX más rápidos en M5 Max y RTX 5070 Ti
  • Más lento que Ollama en algunos modelos, como la decodificación de Nemotron 3.5 en DGX Spark
  • Sin ROCm; las builds de CUDA necesitan una tarjeta Ampere o posterior
  • La integración con Claude Code hace pasar todas las peticiones por su gateway

Ideal para

Desarrolladores con Apple silicon o tarjetas NVIDIA recientes que quieren un modelo local rápido detrás de un agente de programación con poca configuración.

Alternativas a Magnitude

Magnitude: preguntas frecuentes

¿Merece la pena Magnitude?
Una idea inteligente con velocidad real detrás en algunas máquinas, pero el titular de 2x es una medición de la propia empresa y no se ha confirmado en el hardware de todos los usuarios. Le damos un 3.6 sobre 5.
¿Cuánto cuesta Magnitude?
Gratuito y de código abierto bajo Apache-2.0. No hay ninguna edición de pago documentada; las licencias de los modelos van aparte.
¿Qué inconvenientes tiene Magnitude?
Las cifras de velocidad las declara la propia empresa; usuarios vieron llama.cpp o MLX más rápidos en M5 Max y RTX 5070 Ti; más lento que Ollama en algunos modelos, como la decodificación de Nemotron 3.5 en DGX Spark; sin ROCm; las builds de CUDA necesitan una tarjeta Ampere o posterior; la integración con Claude Code hace pasar todas las peticiones por su gateway.
¿Para quién es Magnitude?
Desarrolladores con Apple silicon o tarjetas NVIDIA recientes que quieren un modelo local rápido detrás de un agente de programación con poca configuración.
¿Cuánto cuesta Magnitude para un equipo o en producción?
No hay ninguna edición de pago documentada, así que el coste es el hardware. Los benchmarks del fabricante usaron un Mac mini de 48 GB con M4 Pro y un DGX Spark de 128 GB; el modo servidor encaja con una estación de trabajo compartida más que con un servicio de alta concurrencia.
¿Es Magnitude seguro para los datos de la empresa?
Según la documentación, los prompts y los modelos se quedan en local; los modelos están en ~/.magnitude/models y, según nuestra lectura del código, las trazas de OpenTelemetry van a un colector en 127.0.0.1. En la misma máquina no hace falta clave; el acceso por red la exige y usa HTTP sin cifrar. Apache-2.0, con cada modelo bajo su propia licencia.
¿Cuáles son las mejores alternativas a Magnitude?
Las alternativas más cercanas que hemos analizado son Ollama, llama.cpp, MLX y Jan.

Respuestas comprobadas el 28 oct 2026.