大きく高性能なモデルを自分のノートパソコンで動かすには、これまで小さなモデルで我慢するか、非常に高価なマシンを用意するしかありませんでした。私たちが35Bのスマートフォン向けモデルをレビューしたEdge0は、今回、十分な装備のノートパソコンで、実測のピークメモリ29GBで動く1,450億パラメータのモデルを発表し、重みと推論コードを公開しました。数字が本当なら、本格的なローカルのコーディングエージェントを、多くの開発者がすでに持っているハードウェアで動かせることになります。
このメモリ量を可能にしているのは設計です。Edge0-145BはMixture-of-Expertsモデルで、64のエキスパートからなる各グループが二つの大きな行列を共有し、各エキスパートは自分専用の小さなパラメータだけを持ちます。各ステップで使われるパラメータは約10Bです。推論エンジンはモデルを三つの層に分けて配置します。よく使うエキスパートはGPUメモリに置き、約40GBのエキスパートライブラリはシステムメモリに、約48GBの語彙データはSSDに置いて必要なときに読み込みます。CPUとGPUが並行して動き、投機的デコーディングで複数の候補トークンを一度に検証します。Edge0は毎秒80トークン以上を報告しています。
ベンチマークの主張は強気です。Edge0はDeepSWE 1.1で64.6、Terminal-Bench 2.1で86.52、GPQA-Diamondで90.4、IFBenchで80.6を記録し、六つのベンチマークの平均は72.8で、Qwen3.8-Flash-Nextの71.7を上回るとしています。Qwen3.8-Flash-Nextの標準的な4ビット運用は70GBと見積もっており、Edge0はそのメモリ の約40%に収まるため、48GBのノートパソコンが実用上の下限となります。初日からmacOS、Windows、Linuxに対応し、AppleのMシリーズチップやNVIDIA RTXカードも含まれます。
llama.cpp、Ollama、LM Studioでローカルモデルを動かしている人にとって興味深いのは、パラメータ数よりもストリーミングの設計です。エキスパートの大半をGPUの外に置き、語彙をSSDから読む方式は、量子化を強めるのとは別の割り切りで、高速なストレージが前提になります。Edge0は、結果を再現できるようスタック全体を公開したとも述べています。
疑問は大きいものです。Qwen、DeepSeek、Claudeの結果はEdge0の社内評価によるもので、競合のメモリ量はまだ実測されていない推定値です。設定の全容を示す技術レポートもまだ出ていません。速度とメモリの数字は、仕様が明らかでないノートパソコンでのEdge0自身のテストによるものです。35B版の私たちのレビューでは、丁寧な設計である一方、速度の数字のほぼすべてが開発元によるものでした。独立した検証が出るまでは、今回も同じ慎重さが必要です。