Qu’est-ce que Magnitude ?
Magnitude fait tourner des modèles ouverts sur votre propre ordinateur et les connecte à l'agent de code que vous utilisez déjà. Quand vous téléchargez un modèle, il passe jusqu'à une minute sur votre puce à essayer différentes façons de répartir le travail entre les threads GPU, et garde la combinaison la plus rapide qui ne change pas la sortie. Chaque modèle pris en charge est livré avec un brouillonneur de décodage spéculatif (MTP, DFlash, DSpark ou LiLiCorr), et les sessions partagent des caches de préfixes.
Le moteur est écrit en Rust sur le propre compilateur et runtime de Magnitude, Seismic, qui vise les CPU, Apple Metal, NVIDIA CUDA (Ampere et plus récent) et Vulkan ; il n'y a pas de backend ROCm. Il se livre comme appli desktop et CLI pour macOS, Windows et Linux, sert des API compatibles OpenAI et Anthropic sur le port 10100, et configure Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline en un clic.
Le dépôt a été créé le 12 juin 2026 par Magnitude AI Inc., est sous licence Apache-2.0, et a publié le CLI 0.2.13 le 28 octobre 2026, sa troisième version en trois jours.
Magnitude vaut-il le coup ?
Magnitude peut être plus rapide que les moteurs qu'il vise, mais de combien dépend fortement de la machine, et chaque chiffre phare est celui du fournisseur. À son Launch HN pour la promotion S25 de Y Combinator début octobre 2026, les fondateurs ont revendiqué jusqu'au double de la vitesse de llama.cpp, sur la base de Qwen 3.6 35B A3B en 4 bits avec un prompt de 64K tokens : le décodage est passé de 30 à 57 tokens par seconde sur un Mac M4 Pro (92 %), mais seulement de 49 à 58 sur un DGX Spark (19 %), et le prefill a gagné 9 % et 23 %. La comparaison n'était pas à armes égales : les fondateurs ont dit avoir fait tourner llama.cpp avec un cache KV 16 bits parce que son cache compressé ralentissait le décodage, tandis que Magnitude utilisait son propre cache compressé.
La page de benchmark compare désormais contre Ollama v0.35.1 à la place, sur 11 modèles sur un Mac mini M4 Pro de 48 Go et un DGX Spark : décodage moyen 2,19 et 2,17 fois plus rapide, prefill environ 1,3 fois. L'écart est large, de 4,84 fois plus rapide (décodage Qwen 3.5 4B sur le Spark) à 0,76 fois, plus lent, sur Nemotron 3.5, et la page avertit que le faible brouillonnage d'Ollama sur trois modèles Gemma gonfle ces gains et que la qualité des réponses n'a pas été notée. Les utilisateurs sur le fil Hacker News ont posté l'autre côté : sur un M5 Max, l'un a trouvé llama.cpp environ deux fois plus rapide que Magnitude 0.2.1, un autre a mesuré rapid-mlx à 175 tokens par seconde contre les 161 de Magnitude, et sur un RTX 5070 Ti llama.cpp décodait 20 à 30 % plus vite. Les fondateurs ont dit que les Mac M5 sont un point faible connu parce que les kernels n'utilisent pas encore le matériel matriciel de Metal 4.
Les réglages locaux par défaut sont sensés. L'API écoute sur 127.0.0.1:10100 sans clé pour la même machine ; activer l'accès réseau exige une clé générée, ralentit les tentatives après cinq échecs et parle encore du HTTP simple, si bien que la documentation recommande Tailscale, SSH ou un proxy HTTPS. Dans notre lecture du code, ses traces OpenTelemetry vont à un collecteur sur 127.0.0.1. La connexion Claude Code réécrit ~/.claude/settings.json pour envoyer chaque requête, y compris celles de Claude hébergé, via la passerelle locale de Magnitude, que vous devez garder en marche et défaire plus tard.
Là où il est en deçà d'Ollama et llama.cpp, c'est la portée. Les builds CUDA sautent les cartes pré-Ampere, les GPU AMD et Intel passent par Vulkan uniquement, et la vitesse dépend de kernels écrits à la main pour les familles de modèles populaires que Magnitude choisit de prendre en charge. Deux développeurs ont écrit presque tout le code, et 30 issues sont ouvertes, dont des installations bloquées à l'évaluation de modèle et des échecs sur Linux non-Ubuntu.
Là où il fait la différence
Un développeur sur un Mac Apple silicon de 48 Go qui utilise OpenCode
Obtenir des complétions locales plus rapides que ce qu'Ollama donne sur le même modèle
Installez l'appli, prenez le choix Balanced de Discover et cliquez Connect pour OpenCode. Sur le test M4 Pro du fournisseur, le décodage a atteint en moyenne 2,19 fois la vitesse d'Ollama ; vérifiez votre propre modèle dans Usage, puisque trois résultats Gemma sur le Mac étaient gonflés par le faible brouillonnage d'Ollama.
Un studio de trois personnes avec un poste de travail RTX 4090
Partager un seul modèle local avec chaque portable du bureau
Lancez `magnitude server setup` pour qu'il démarre au boot et se mette à jour, activez l'accès réseau et donnez à chaque portable la clé d'API. Le lien est du HTTP simple, alors mettez-le sur Tailscale ou derrière un proxy HTTPS ; seule l'inférence est disponible à distance.
Un ingénieur dans une équipe Claude Code qui veut un repli hors ligne
Faire tourner Claude Code contre un modèle local quand les limites de l'offre s'épuisent
Connectez Claude Code depuis Magnitude et démarrez-le avec `claude --model anthropic-local/<id>`. La connexion réécrit ~/.claude/settings.json et route aussi les requêtes hébergées via la passerelle locale, alors déconnectez et redémarrez Claude Code avant de l'utiliser seul à nouveau.
Avant de vous engager
- Mise en route
- `curl -fsSL https://magnitude.dev/install.sh | sh`, l'équivalent PowerShell, ou les installeurs .dmg, .exe, .deb, .rpm et pacman. Chaque téléchargement de modèle ajoute jusqu'à une minute de réglage de kernels avant la première utilisation.
- Intégrations
- API compatible OpenAI sur 127.0.0.1:10100/inference/v1 et compatible Anthropic sur /inference/anthropic ; configuration en un clic pour Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline. Les backends sont CPU, Metal, CUDA (Ampere et plus récent) et Vulkan.
- Données et confidentialité
- Les prompts et modèles restent locaux selon la documentation ; les modèles vivent dans ~/.magnitude/models, et les traces OpenTelemetry vont à un collecteur sur 127.0.0.1 dans notre lecture du code. Aucune clé n'est nécessaire sur la même machine ; l'accès réseau en exige une et est du HTTP simple. Apache-2.0, chaque modèle sous sa propre licence.
- Coût à grande échelle
- Aucune édition payante n'est documentée, si bien que le matériel est le coût. Les benchmarks du fournisseur ont utilisé un Mac mini de 48 Go avec un M4 Pro et un DGX Spark de 128 Go ; le mode serveur convient à un seul poste de travail partagé plutôt qu'au service à forte concurrence.
- Limites
- 30 issues ouvertes, dont l'évaluation de modèle bloquée (#142) et les installations sur Linux non-Ubuntu (#22) ; trois versions CLI en trois jours ; pas de ROCm ni de CUDA pré-Ampere ; la vitesse dépend des kernels écrits pour les familles de modèles qu'il prend en charge.
Les points forts
- Réglage de kernels par machine plus un brouillonneur pour chaque modèle pris en charge
- Harnais de benchmark open source et résultats par modèle
- Localhost par défaut ; l'accès réseau a besoin d'une clé
- Configuration en un clic pour Claude Code, Codex, OpenCode, Cline et d'autres
Les points faibles
- Les affirmations de vitesse sont auto-rapportées ; des utilisateurs ont trouvé llama.cpp ou MLX plus rapides sur M5 Max et RTX 5070 Ti
- Plus lent qu'Ollama sur certains modèles, comme le décodage Nemotron 3.5 sur DGX Spark
- Pas de ROCm ; les builds CUDA ont besoin d'une carte Ampere ou plus récente
- L'intégration Claude Code route toutes les requêtes via sa passerelle
Idéal pour
Les développeurs sur Apple silicon ou cartes NVIDIA récentes qui veulent un modèle local rapide derrière un agent de code avec peu de configuration.
Alternatives à Magnitude
Magnitude : questions fréquentes
- Magnitude vaut-il le coup ?
- Une idée intelligente avec de la vraie vitesse derrière elle sur certaines machines, mais le titre de 2x est la propre mesure de l'entreprise et n'a pas tenu sur le matériel de chaque utilisateur. Nous lui donnons 3.6 sur 5.
- Combien coûte Magnitude ?
- Gratuit et open source sous Apache-2.0. Aucune édition payante n'est documentée ; les licences des modèles sont séparées.
- Quels sont les inconvénients de Magnitude ?
- Les affirmations de vitesse sont auto-rapportées ; des utilisateurs ont trouvé llama.cpp ou MLX plus rapides sur M5 Max et RTX 5070 Ti; plus lent qu'Ollama sur certains modèles, comme le décodage Nemotron 3.5 sur DGX Spark; pas de ROCm ; les builds CUDA ont besoin d'une carte Ampere ou plus récente; l'intégration Claude Code route toutes les requêtes via sa passerelle.
- À qui s’adresse Magnitude ?
- Les développeurs sur Apple silicon ou cartes NVIDIA récentes qui veulent un modèle local rapide derrière un agent de code avec peu de configuration.
- Combien coûte Magnitude pour une équipe ou en production ?
- Aucune édition payante n'est documentée, si bien que le matériel est le coût. Les benchmarks du fournisseur ont utilisé un Mac mini de 48 Go avec un M4 Pro et un DGX Spark de 128 Go ; le mode serveur convient à un seul poste de travail partagé plutôt qu'au service à forte concurrence.
- Magnitude est-il sûr pour les données de l’entreprise ?
- Les prompts et modèles restent locaux selon la documentation ; les modèles vivent dans ~/.magnitude/models, et les traces OpenTelemetry vont à un collecteur sur 127.0.0.1 dans notre lecture du code. Aucune clé n'est nécessaire sur la même machine ; l'accès réseau en exige une et est du HTTP simple. Apache-2.0, chaque modèle sous sa propre licence.
- Quelles sont les meilleures alternatives à Magnitude ?
- Les alternatives les plus proches que nous avons testées sont Ollama, llama.cpp, MLX et Jan.
Réponses vérifiées le 28 oct. 2026.