Was ist Magnitude?
Magnitude führt offene Modelle auf deinem eigenen Computer aus und verbindet sie mit dem Coding-Agenten, den du ohnehin nutzt. Wenn du ein Modell herunterlädst, probiert es bis zu einer Minute lang auf deinem Chip verschiedene Arten aus, die Arbeit auf GPU-Threads aufzuteilen, und behält die schnellste Kombination, die die Ausgabe nicht verändert. Jedes unterstützte Modell kommt mit einem Drafter für Speculative Decoding (MTP, DFlash, DSpark oder LiLiCorr), und Sitzungen teilen sich Prefix-Caches.
Die Engine ist in Rust geschrieben und läuft auf Magnitudes eigenem Compiler und Runtime Seismic, der CPUs, Apple Metal, NVIDIA CUDA (Ampere und neuer) und Vulkan unterstützt; ein ROCm-Backend gibt es nicht. Sie kommt als Desktop-App und CLI für macOS, Windows und Linux, stellt auf Port 10100 OpenAI- und Anthropic-kompatible APIs bereit und konfiguriert Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline mit einem Klick.
Das Repository wurde am 12. Juni 2026 von Magnitude AI Inc. angelegt, steht unter Apache-2.0 und veröffentlichte am 28. Oktober 2026 die CLI 0.2.13, das dritte Release in drei Tagen.
Lohnt sich Magnitude?
Magnitude kann schneller sein als die Engines, mit denen es sich misst, aber wie viel, hängt stark vom Rechner ab, und jede Schlagzeilenzahl stammt vom Anbieter selbst. Bei seinem Launch HN für den Jahrgang S25 von Y Combinator Anfang Oktober 2026 beanspruchten die Gründer bis zu doppelte Geschwindigkeit gegenüber llama.cpp, gemessen mit Qwen 3.6 35B A3B in 4 Bit und einem Prompt mit 64K Tokens: Das Decoding stieg auf einem Mac mit M4 Pro von 30 auf 57 Tokens pro Sekunde (92%), auf einem DGX Spark aber nur von 49 auf 58 (19%), und das Prefill legte um 9% und 23% zu. Der Vergleich war nicht gleichwertig: Die Gründer sagten, sie hätten llama.cpp mit einem 16-Bit-KV-Cache laufen lassen, weil dessen komprimierter Cache das Decoding bremste, während Magnitude seinen eigenen komprimierten Cache nutzte.
Die Benchmark-Seite vergleicht inzwischen stattdessen mit Ollama v0.35.1, über 11 Modelle auf einem Mac mini mit M4 Pro und 48 GB sowie einem DGX Spark: im Schnitt 2,19- und 2,17-mal schnelleres Decoding, Prefill etwa 1,3-mal. Die Streuung ist groß, von 4,84-mal schneller (Decoding von Qwen 3.5 4B auf dem Spark) bis 0,76-mal, also langsamer, bei Nemotron 3.5, und die Seite warnt, dass Ollamas schwaches Drafting bei drei Gemma-Modellen diese Gewinne aufbläht und dass die Antwortqualität nicht bewertet wurde. Nutzer im Hacker-News-Thread zeigten die andere Seite: Auf einem M5 Max fand einer llama.cpp etwa doppelt so schnell wie Magnitude 0.2.1, ein anderer maß rapid-mlx mit 175 Tokens pro Sekunde gegenüber 161 bei Magnitude, und auf einer RTX 5070 Ti decodierte llama.cpp 20 bis 30% schneller. Die Gründer sagten, M5-Macs seien eine bekannte Schwachstelle, weil die Kernels die Matrix-Hardware von Metal 4 noch nicht nutzen.
Die lokalen Standards sind vernünftig. Die API lauscht auf 127.0.0.1:10100, ohne Key für denselben Rechner; wer den Netzwerkzugriff einschaltet, braucht einen generierten Key, nach fünf falschen Versuchen wird das Raten gebremst, und die Verbindung bleibt einfaches HTTP, weshalb die Doku Tailscale, SSH oder einen HTTPS-Proxy empfiehlt. Nach unserer Lektüre des Codes gehen die OpenTelemetry-Traces an einen Collector auf 127.0.0.1. Die Verbindung zu Claude Code schreibt ~/.claude/settings.json um, sodass jede Anfrage, auch an gehostetes Claude, über Magnitudes lokales Gateway läuft, das du am Laufen halten und später wieder rückgängig machen musst.
Hinter Ollama und llama.cpp bleibt es bei der Reichweite zurück. CUDA-Builds lassen Karten vor Ampere aus, GPUs von AMD und Intel laufen nur über Vulkan, und die Geschwindigkeit hängt von handgeschriebenen Kernels für die populären Modellfamilien ab, die Magnitude unterstützen will. Zwei Entwickler haben fast den gesamten Code geschrieben, und 30 Issues sind offen, darunter Installationen, die bei der Modellbewertung hängen bleiben, und Fehler auf Linux-Distributionen außer Ubuntu.
Wo es sich lohnt
Eine Entwicklerin auf einem Mac mit Apple Silicon und 48 GB, die OpenCode nutzt
Schnellere lokale Completions bekommen, als Ollama mit demselben Modell liefert
Installiere die App, nimm die Empfehlung Balanced unter Discover und klicke bei OpenCode auf Connect. Im M4-Pro-Test des Anbieters lag das Decoding im Schnitt beim 2,19-Fachen von Ollama; prüfe dein eigenes Modell unter Usage, denn drei Gemma-Ergebnisse auf dem Mac waren durch Ollamas schwaches Drafting aufgebläht.
Ein Studio mit drei Leuten und einer Workstation mit RTX 4090
Ein lokales Modell mit jedem Laptop im Büro teilen
Führe `magnitude server setup` aus, damit es beim Booten startet und sich selbst aktualisiert, schalte den Netzwerkzugriff ein und gib jedem Laptop den API-Key. Die Verbindung ist einfaches HTTP, also leg sie auf Tailscale oder hinter einen HTTPS-Proxy; aus der Ferne ist nur Inferenz verfügbar.
Ein Engineer in einem Team mit Claude Code, der einen Offline-Ausweichweg will
Claude Code mit einem lokalen Modell betreiben, wenn die Limits des Plans aufgebraucht sind
Verbinde Claude Code aus Magnitude heraus und starte es mit `claude --model anthropic-local/<id>`. Die Verbindung schreibt ~/.claude/settings.json um und leitet auch gehostete Anfragen über das lokale Gateway, also trenne die Verbindung und starte Claude Code neu, bevor du es wieder eigenständig nutzt.
Bevor du dich festlegst
- Einrichtung
- `curl -fsSL https://magnitude.dev/install.sh | sh`, das PowerShell-Gegenstück oder Installer als .dmg, .exe, .deb, .rpm und für pacman. Jeder Modell-Download fügt vor der ersten Nutzung bis zu einer Minute Kernel-Abstimmung hinzu.
- Integrationen
- OpenAI-kompatible API unter 127.0.0.1:10100/inference/v1 und Anthropic-kompatible unter /inference/anthropic; Ein-Klick-Einrichtung für Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline. Backends sind CPU, Metal, CUDA (Ampere und neuer) und Vulkan.
- Daten und Datenschutz
- Prompts und Modelle bleiben laut Doku lokal; Modelle liegen in ~/.magnitude/models, und nach unserer Lektüre des Codes gehen OpenTelemetry-Traces an einen Collector auf 127.0.0.1. Auf demselben Rechner ist kein Key nötig; Netzwerkzugriff erfordert einen und läuft über einfaches HTTP. Apache-2.0, jedes Modell unter seiner eigenen Lizenz.
- Kosten im großen Maßstab
- Eine bezahlte Edition ist nicht dokumentiert, die Kosten sind also die Hardware. Die Benchmarks des Anbieters nutzten einen Mac mini mit M4 Pro und 48 GB sowie einen DGX Spark mit 128 GB; der Server-Modus passt zu einer gemeinsam genutzten Workstation, nicht zu Serving mit hoher Parallelität.
- Grenzen
- 30 offene Issues, darunter hängende Modellbewertung (#142) und Installationen auf Linux außer Ubuntu (#22); drei CLI-Releases in drei Tagen; kein ROCm und kein CUDA vor Ampere; die Geschwindigkeit hängt von Kernels ab, die für die unterstützten Modellfamilien geschrieben wurden.
Was gut ist
- Kernel-Abstimmung pro Rechner plus ein Drafter für jedes unterstützte Modell
- Quelloffenes Benchmark-Werkzeug und Ergebnisse pro Modell
- Standardmäßig localhost; Netzwerkzugriff braucht einen Key
- Ein-Klick-Einrichtung für Claude Code, Codex, OpenCode, Cline und andere
Was nicht
- Geschwindigkeitsangaben sind selbst berichtet; Nutzer fanden llama.cpp oder MLX auf M5 Max und RTX 5070 Ti schneller
- Bei manchen Modellen langsamer als Ollama, etwa beim Decoding von Nemotron 3.5 auf DGX Spark
- Kein ROCm; CUDA-Builds brauchen eine Karte mit Ampere oder neuer
- Die Integration in Claude Code leitet alle Anfragen über sein Gateway
Am besten für
Entwickler auf Apple Silicon oder aktuellen NVIDIA-Karten, die mit wenig Einrichtung ein schnelles lokales Modell hinter einem Coding-Agenten wollen.
Alternativen zu Magnitude
Magnitude: häufige Fragen
- Lohnt sich Magnitude?
- Eine kluge Idee mit echtem Tempo auf manchen Rechnern, aber die Schlagzeile mit doppelter Geschwindigkeit ist die eigene Messung des Unternehmens und hat sich nicht auf der Hardware jedes Nutzers bestätigt. Wir bewerten es mit 3.6 von 5.
- Was kostet Magnitude?
- Kostenlos und Open Source unter Apache-2.0. Eine bezahlte Edition ist nicht dokumentiert; die Modelllizenzen sind separat.
- Welche Nachteile hat Magnitude?
- Geschwindigkeitsangaben sind selbst berichtet; Nutzer fanden llama.cpp oder MLX auf M5 Max und RTX 5070 Ti schneller; Bei manchen Modellen langsamer als Ollama, etwa beim Decoding von Nemotron 3.5 auf DGX Spark; Kein ROCm; CUDA-Builds brauchen eine Karte mit Ampere oder neuer; Die Integration in Claude Code leitet alle Anfragen über sein Gateway.
- Für wen eignet sich Magnitude?
- Entwickler auf Apple Silicon oder aktuellen NVIDIA-Karten, die mit wenig Einrichtung ein schnelles lokales Modell hinter einem Coding-Agenten wollen.
- Was kostet Magnitude für ein Team oder im Produktivbetrieb?
- Eine bezahlte Edition ist nicht dokumentiert, die Kosten sind also die Hardware. Die Benchmarks des Anbieters nutzten einen Mac mini mit M4 Pro und 48 GB sowie einen DGX Spark mit 128 GB; der Server-Modus passt zu einer gemeinsam genutzten Workstation, nicht zu Serving mit hoher Parallelität.
- Ist Magnitude sicher für Firmendaten?
- Prompts und Modelle bleiben laut Doku lokal; Modelle liegen in ~/.magnitude/models, und nach unserer Lektüre des Codes gehen OpenTelemetry-Traces an einen Collector auf 127.0.0.1. Auf demselben Rechner ist kein Key nötig; Netzwerkzugriff erfordert einen und läuft über einfaches HTTP. Apache-2.0, jedes Modell unter seiner eigenen Lizenz.
- Was sind die besten Alternativen zu Magnitude?
- Die nächsten Alternativen, die wir getestet haben, sind Ollama, llama.cpp, MLX und Jan.
Antworten geprüft am 28. Okt. 2026.