Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

Magnitude

手元のマシンでモデルごとに GPU カーネルを調整するローカル推論エンジン兼デスクトップアプリで、コーディングエージェントにワンクリックで接続できます。

レビュー: Sheela · 更新

GitHubで見る オープンソース

当サイトの評価

3.6/5

賢い発想で、一部のマシンでは実際に速度も出ますが、2x という見出しの数字は同社自身の計測で、すべての利用者のハードウェアで再現されてはいません。

Magnitudeとは?

Magnitude はオープンモデルを自分のコンピューターで動かし、すでに使っているコーディングエージェントにつなぎます。モデルをダウンロードすると、最大1分ほどかけて手元のチップ上で GPU スレッドへの作業の分け方を試し、出力を変えない範囲で最も速い組み合わせを残します。対応する各モデルには投機的デコーディング用のドラフター(MTP、DFlash、DSpark、LiLiCorr)が付属し、セッション間でプレフィックスキャッシュを共有します。

エンジンは Rust で書かれ、Magnitude 独自のコンパイラーとランタイム Seismic の上で動きます。対象は CPU、Apple Metal、NVIDIA CUDA(Ampere 以降)、Vulkan で、ROCm のバックエンドはありません。macOS、Windows、Linux 向けのデスクトップアプリと CLI として提供され、ポート10100で OpenAI 互換と Anthropic 互換の API を提供し、Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline をワンクリックで設定します。

リポジトリは2026年6月12日に Magnitude AI Inc. が作成し、ライセンスは Apache-2.0 です。2026年10月28日に CLI 0.2.13 をリリースし、これは3日間で3回目のリリースでした。

Magnitudeは使う価値があるか?

Magnitude は比較対象のエンジンより速くなることがありますが、その差はマシンに大きく左右され、見出しの数字はすべてベンダー自身のものです。2026年10月初めの Y Combinator S25 バッチとしての Launch HN で、創業者たちは llama.cpp の最大2倍の速度をうたいました。根拠は 4-bit の Qwen 3.6 35B A3B と 64K トークンのプロンプトで、M4 Pro の Mac ではデコードが毎秒30から57トークンに上がりました(92%)が、DGX Spark では49から58にとどまり(19%)、プリフィルの向上は9%と23%でした。比較は同条件ではありませんでした。創業者によれば、llama.cpp は圧縮キャッシュだとデコードが遅くなるため 16-bit の KV キャッシュで動かし、Magnitude は独自の圧縮キャッシュを使いました。

ベンチマークのページは現在、比較対象を Ollama v0.35.1 に変え、48 GB の M4 Pro Mac mini と DGX Spark で11モデルを比べています。平均でデコードは2.19倍と2.17倍、プリフィルは約1.3倍速いとしています。ばらつきは大きく、4.84倍速い例(Spark での Qwen 3.5 4B のデコード)から、Nemotron 3.5 での0.76倍、つまり遅い例まであります。ページは、3つの Gemma モデルでの Ollama のドラフトの弱さがこれらの差を膨らませていること、回答の品質は採点していないことを注記しています。Hacker News のスレッドでは利用者が反対の結果を投稿しました。M5 Max では llama.cpp が Magnitude 0.2.1 の約2倍速かったという人、rapid-mlx を毎秒175トークン、Magnitude を161と測った人がおり、RTX 5070 Ti では llama.cpp のデコードが20から30%速かったとされます。創業者は、カーネルがまだ Metal 4 の行列演算ハードウェアを使っていないため、M5 の Mac は既知の弱点だと述べました。

ローカルの既定設定は妥当です。API は 127.0.0.1:10100 で待ち受け、同じマシンからはキー不要です。ネットワークアクセスを有効にするには生成されたキーが必要で、5回間違えると推測を遅らせますが、通信は平文の HTTP のままなので、ドキュメントは Tailscale、SSH、HTTPS プロキシを勧めています。私たちがコードを読んだ限りでは、OpenTelemetry のトレースは 127.0.0.1 のコレクターに送られます。Claude Code との接続は ~/.claude/settings.json を書き換え、ホスト版の Claude へのリクエストも含めてすべてを Magnitude のローカルゲートウェイ経由にします。ゲートウェイは動かし続ける必要があり、後で設定を元に戻さなければなりません。

Ollama や llama.cpp に及ばないのは対応範囲です。CUDA ビルドは Ampere より前のカードを対象外とし、AMD と Intel の GPU は Vulkan 経由のみで、速度は Magnitude が対応すると決めた人気のモデルファミリー向けに手書きされたカーネルに依存します。コードのほぼすべては2人の開発者が書いており、未解決の issue は30件で、モデル評価で止まるインストールや Ubuntu 以外の Linux での失敗が含まれます。

真価を発揮する場面

  • 48 GB の Apple silicon の Mac で OpenCode を使う開発者

    同じモデルで Ollama より速いローカル補完を得る

    アプリをインストールし、Discover の Balanced の推奨を選んで OpenCode の Connect をクリックします。ベンダーの M4 Pro のテストではデコードが平均で Ollama の2.19倍でした。Mac での Gemma の3つの結果は Ollama のドラフトの弱さで膨らんでいたので、自分のモデルを Usage で確認してください。

  • RTX 4090 のワークステーションを1台持つ3人のスタジオ

    1つのローカルモデルをオフィスのすべてのノート PC で共有する

    `magnitude server setup` を実行して起動時に立ち上がり自動更新されるようにし、ネットワークアクセスを有効にして各ノート PC に API キーを配ります。接続は平文の HTTP なので、Tailscale に載せるか HTTPS プロキシの背後に置いてください。リモートで使えるのは推論だけです。

  • オフラインの予備手段が欲しい Claude Code チームのエンジニア

    プランの上限に達したとき、ローカルモデルで Claude Code を動かす

    Magnitude から Claude Code を接続し、`claude --model anthropic-local/<id>` で起動します。接続は ~/.claude/settings.json を書き換え、ホスト版へのリクエストもローカルゲートウェイ経由にするので、単体で使う前には接続を解除して Claude Code を再起動してください。

導入前に確認すること

導入
`curl -fsSL https://magnitude.dev/install.sh | sh`、それに相当する PowerShell、または .dmg、.exe、.deb、.rpm、pacman のインストーラーを使います。モデルをダウンロードするたびに、初回使用の前に最大1分のカーネル調整が加わります。
連携
127.0.0.1:10100/inference/v1 の OpenAI 互換 API と /inference/anthropic の Anthropic 互換 API。Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline のワンクリック設定。バックエンドは CPU、Metal、CUDA(Ampere 以降)、Vulkan です。
データとプライバシー
ドキュメントによればプロンプトとモデルはローカルに残ります。モデルは ~/.magnitude/models に置かれ、私たちがコードを読んだ限りでは OpenTelemetry のトレースは 127.0.0.1 のコレクターに送られます。同じマシンではキー不要で、ネットワークアクセスにはキーが必要ですが通信は平文の HTTP です。Apache-2.0 で、各モデルはそれぞれのライセンスに従います。
大規模利用時のコスト
有料版の記載はないので、コストはハードウェアです。ベンダーのベンチマークでは M4 Pro の 48 GB Mac mini と 128 GB の DGX Spark を使いました。サーバーモードは高い同時実行数の提供より、共有のワークステーション1台に向いています。
制限
未解決の issue は30件で、モデル評価で止まる問題(#142)や Ubuntu 以外の Linux へのインストール(#22)を含みます。3日間で CLI のリリースが3回。ROCm と Ampere より前の CUDA は非対応で、速度は対応するモデルファミリー向けに書かれたカーネルに依存します。

良い点

  • マシンごとのカーネル調整と、対応する全モデルのドラフター
  • オープンソースのベンチマークハーネスとモデルごとの結果
  • 既定は localhost で、ネットワークアクセスにはキーが必要
  • Claude Code、Codex、OpenCode、Cline などのワンクリック設定

気になる点

  • 速度の主張は自己申告で、M5 Max と RTX 5070 Ti では llama.cpp や MLX の方が速いと利用者が報告
  • DGX Spark での Nemotron 3.5 のデコードなど、一部のモデルでは Ollama より遅い
  • ROCm はなく、CUDA ビルドには Ampere 以降のカードが必要
  • Claude Code との連携ではすべてのリクエストがゲートウェイを経由する

おすすめの人

Apple silicon や最近の NVIDIA カードを使い、少ない手間でコーディングエージェントの裏に速いローカルモデルを置きたい開発者。

Magnitudeの代替

Magnitude:よくある質問

Magnitudeは使う価値があるか?
賢い発想で、一部のマシンでは実際に速度も出ますが、2x という見出しの数字は同社自身の計測で、すべての利用者のハードウェアで再現されてはいません。 評価は5点満点中3.6点です。
Magnitudeの料金は?
Apache-2.0 のもとで無料のオープンソースです。有料版は記載がなく、モデルのライセンスは別です。
Magnitudeの欠点は?
速度の主張は自己申告で、M5 Max と RTX 5070 Ti では llama.cpp や MLX の方が速いと利用者が報告; DGX Spark での Nemotron 3.5 のデコードなど、一部のモデルでは Ollama より遅い; ROCm はなく、CUDA ビルドには Ampere 以降のカードが必要; Claude Code との連携ではすべてのリクエストがゲートウェイを経由する.
Magnitudeは誰に向いているか?
Apple silicon や最近の NVIDIA カードを使い、少ない手間でコーディングエージェントの裏に速いローカルモデルを置きたい開発者。
チームや本番環境でMagnitudeを使うと費用はいくらか?
有料版の記載はないので、コストはハードウェアです。ベンダーのベンチマークでは M4 Pro の 48 GB Mac mini と 128 GB の DGX Spark を使いました。サーバーモードは高い同時実行数の提供より、共有のワークステーション1台に向いています。
Magnitudeは企業データを扱っても安全か?
ドキュメントによればプロンプトとモデルはローカルに残ります。モデルは ~/.magnitude/models に置かれ、私たちがコードを読んだ限りでは OpenTelemetry のトレースは 127.0.0.1 のコレクターに送られます。同じマシンではキー不要で、ネットワークアクセスにはキーが必要ですが通信は平文の HTTP です。Apache-2.0 で、各モデルはそれぞれのライセンスに従います。
Magnitudeの代わりになるものは?
当サイトでレビューした中で最も近い代替はOllama, llama.cpp, MLX 、 Janです。

回答確認日:2026年10月28日