FreeTokenとは?
FreeTokenは、トークンごとに多数のエキスパート用サブネットワークのうち少数だけが働くオープンな混合エキスパート(MoE)モデルを、データセンターのサーバーではなく個人のパソコンで動かします。GPU、CPU、システムRAMとその間の接続をひとつの資源として扱い、よく使うエキスパートはGPUにキャッシュし、残りはストリーミングするかCPUで計算し、エキスパートキャッシュとKVメモリの配分は再起動なしで実行中に変えられます。
付随するarXiv論文の11人の著者にはIon Stoica、Matei Zaharia、Song Han、Kurt Keutzerが含まれ、20以上のMoEモデルに対応し、ノートパソコンで35B、ゲーミングPCで284B、ワークステーション用GPU 1基で753BのGLM-5.2を動かしたと報告しています。FreeTokenはOpenAI互換とAnthropic互換のAPIを提供し、Claude Code、Codex、OpenCodeを自分自身に向けて設定、起動でき、WindowsとLinux向けのデスクトップアプリもあります。Apache 2.0ライセンスで、2026年7月20日に作成され、スターは約17,564、2026年11月9日にv0.2.2をリリースしました。
FreeTokenは使う価値があるか?
フロンティア級の大きさのオープンモデルを自宅で動かすには、これまでllama.cppで大幅に量子化するか、システムメモリ越しにのろのろ動かすか しかありませんでした。FreeTokenの主張は、MoEモデルなら第3の道があるというものです。各トークンが触れるエキスパートは少数なので、エンジンがどれがどれかを判断し直し続ければ、一般向けGPUがよく使うものを抱え、CPUが残りを担えます。帯域に応じて変わる方針、全体で共有するLRUのエキスパートキャッシュ、二重バッファのプリフィル・ストリーミングはまさにそのための仕組みで、2026年8月17日に投稿された論文は、ワークステーション用GPU 1基で753B、ゲーミングPCで284Bのモデルを動かしたと報告しています。
実用面での魅力はエージェントとの連携です。FreeTokenはOpenAIとAnthropicの両方のAPIを提供するので、ft launch claudeでClaude Codeのプロバイダー設定を書き込み、CLIがなければインストールし、ローカルサーバーに向けます。意味的なアンカーのチェックポイントが、ツール呼び出しや思考ブロックの境目で再帰状態とKVキャッシュを保存するため、自分のコンテキストを編集するエージェントでもプロンプト全体を再計算せずに済みます。v0.2.2で投機的デコーディングが加わり、H100ではDFlash 2のドラフトでQwen3.8-27Bが毎秒50.1トークンから215.0トークンへ、4.29倍になりました。ただしこれはデータセンター用のカードで、プロジェクトが掲げる一般向けハードウェアではありません。
セキュリティの既定値は妥当です。サーバーは127.0.0.1のポート1919で待ち受け、--api-keyかFREETOKEN_API_KEYを設定しない限りAPIキーは無効です。別のアドレスで待ち受ける前に設定してください。モデルの重みはHugging Faceかローカルファイルから読み込みます。
制約は、若く変化の速いプロジェクトにありがちなもの です。対応はNVIDIA RTXの30、40、50シリーズだけで、MacやAMDのカードには何もありません。リポジトリは2026年7月20日に作成され、未解決のIssueが492件あり、ドキュメントにはすでに古いFTWチェックポイントを修復するガイドがあり、投機的デコーディングはまだGPU 2基以上のテンソル並列では動きません。Ollamaと比べると、巨大なMoEモデルでははるかに有能ですが、それ以外の点でははるかに未完成です。
真価を発揮する場面
RTX 50シリーズのゲーミングPCとRAM 128 GBを持つ開発者
コードをプロバイダーに送らずに、大きなオープンモデルでClaude Codeを使う
対応するMoEのチェックポイントをft serveで動かし、ft launch claudeでClaude CodeをローカルのAnthropic互換エンドポイントにつなぎます。トークン代はかからず、速度はVRAMに入るエキスパートの数で決まります。
社内レポートのためにローカル推論を測定する研究エンジニア
一般向けハードウェアでのMoEの推論をllama.cppと比べる
ft bench bwを実行してCPUとGPUのハイブリッド方針にマシンを測らせ、同じGGUFを両方のエンジンで動かして、タイミングレポートを有効にして比べます。
導入前に確認すること
- 導入
- flashml.aiからWindowsかLinux用のデスクトップアプリを入れるか、uv pip install "freetoken[accel]"を実行し、Hugging FaceのID、ローカルフォルダー、GGUFのいずれかを指定してft serve --modelを実行します。ログに127.0.0.1:1919が出れば準備完了です。
- 連携
- OpenAI API(/v1/chat/completions 、/v1/responses)とAnthropic API(/v1/messages)、Claude Code、Codex、OpenCode、OpenClaw、Hermes、DeepSeek Harness向けのft launch、GGUF、MXFP4、NVFP4、FP8、BF16のチェックポイント、ターミナルのチャットシェル。
- データとプライバシー
- すべて自分のマシンで動きます。サーバーは既定で127.0.0.1:1919で待ち受け、設定しない限りAPIキーはないので、ネットワークに公開する前にキーを追加してください。ft launchは選んだエージェントのプロバイダー設定を書き換えます。--dry-runで先に変更内容を確認できます。
- 大規模利用時のコスト
- ライセンス費用はありません。費用はハードウェアで、モデルに見合うシステムRAMと最近のNVIDIA GPU、そして電気代です。
- 制限
- NVIDIA RTXの30、40、50シリーズのみ。投機的デコーディングはTP 1を超える構成や一部のウィンドウ型アテンションのモデルでは使えない。未解決のIssueは492件。WindowsとWSLは固定メモリに上限があり、CPUレイヤーの自動設定が必要。
良い点
- エキスパートをGPU、CPU、RAMに振り分けて非常に大きなMoEモデルを動かす
- OpenAIとAnthropicのAPI、Claude Code、Codex、OpenCodeをコマンド1つで設定
- コンテキストの編集を理解するキャッシュで、エージェントのプロンプトの再計算を避ける
- 既定でlocalhostにバインド、全ルートに任意のAPIキー
気になる点
- NVIDIA RTXの30、40、50シリーズのみで、MacとAMDは非対応
- 公開4か月で未解決のIssueが492件
- 目玉の高速化はH100で測ったもので、一般向けカードではない
- ドキュメントにすでに古いチェックポイントの修復ガイドが必要
おすすめの人
最近のNVIDIAのゲーミング用かワークステーション用GPUを持ち、非常に大きなオープンMoEモデルをコーディングエージェントの裏でローカルに動かしたい開発者。
FreeTokenの代替
FreeToken:よくある質問
- FreeTokenは使う価値があるか?
- FreeTokenは284B級のMoEモデルをゲーミングPCで動かすこれまでで最も本格的な試みで、信頼できる研究チームが支 えていますが、公開から4か月で、NVIDIA専用、未解決のIssueを492件抱えています。 評価は5点満点中4.0点です。
- FreeTokenの料金は?
- デスクトップアプリも含めて無料のオープンソース(Apache 2.0)。費用はハードウェアと電気代だけです。
- FreeTokenの欠点は?
- NVIDIA RTXの30、40、50シリーズのみで、MacとAMDは非対応; 公開4か月で未解決のIssueが492件; 目玉の高速化はH100で測ったもので、一般向けカードではない; ドキュメントにすでに古いチェックポイントの修復ガイドが必要.
- FreeTokenは誰に向いているか?
- 最近のNVIDIAのゲーミング用かワークステーション用GPUを持ち、非常に大きなオープンMoEモデルをコーディングエージェントの裏でローカルに動かしたい開発者。
- チームや本番環境でFreeTokenを使うと費用はいくらか?
- ライセンス費用はありません。費用はハードウェアで、モデルに見合うシステムRAMと最近のNVIDIA GPU、そして電気代です。
- FreeTokenは企業データを扱っても安全か?
- すべて自分のマシンで動きます。サーバーは既定で127.0.0.1:1919で待ち受け、設定しない限りAPIキーはないので、ネットワークに公開する前にキーを追加してください。ft launchは選んだエージェントのプロバイダー設定を書き換えます。--dry-runで先に変更内容 を確認できます。
- FreeTokenの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はllama.cpp, Ollama, AirLLM 、 SGLangです。
回答確認日:2026年11月21日