Kyojinとは?
Kyojin は Yamz Labs が turboderp の ExLlamaV3 をもとに作った推論エンジンです。少数の大型オープンモデルを OpenAI 互換 API で提供し、モデルファミリーごとに別のサーバースクリプトを用意しています。AMD Strix Halo(gfx1151、128 GB)では GLM-5.3-Flash、Qwen3.8-Flash-Next、MiMo-V2.6-Flash、Hy4-flash、NVIDIA RTX 3090 では Qwen3.8-27B と小型パック 2 種、Mac Studio では MLX を使う姉妹プロジェクト kyojin-mac 経由で DeepSeek V4.1 Flash に対応します。
作業の中心は AMD 向けカーネルの調整、投機的デコード(既定で有効で、通常のデコードと同じトークンを返します)、長いコンテキストの扱いです。プロジェクトは独自に量子化した EXL3 パックを Hugging Face で公開しており、GLM-5.3-Flash のパックは 100.1 GB です。
リポジトリは MIT ライセンスで、Python と HIP・CUDA カーネルで書かれ、GitHub のスターは約 245 です。2026 年 10 月に作られ、v1.9.1 が出た 2026 年 11 月 20 日までに 28 回リリースしています。
Kyojinは使う価値があるか?
Kyojin は扱いにくい 1 台のマシンのためにあります。AMD の Strix Halo ミニ PC は GPU が使えるメモリを 128 GB 持ち、100 GB のモデルが載りますが、汎用のランナーでは速度の多くが生かされません。Kyojin の README によると、そうしたマシン 1 台で GLM-5.3-Flash は 8K コンテキスト時にデコード毎秒 32 トークン、プリフィル 633、Qwen3.8-Flash-Next は 53 と 1,576 です。RTX 3090 では Qwen3.8-27B が 5K で 75 と 1,621、Mac Studio M5 Ultra では DeepSeek V4.1 Flash が 62 と 3,001 です。いずれもメンテナー自身の数値ですが、計測方法は文書化されており、`tools/bench.sh` で自分の結果を投稿できます。
コストについての記述は珍しいほど正確です。インストールガイドによると、GLM の初回起動ではポートを閉じたまま約 10 分かけてカーネルを調整します。131,072 トークンのコンテキストで GLM を動かすと 128 GB のマシンで空きは約 10 GiB です。IOMMU を切るとプリフィルが 6% 向上しましたが、NPU は使えなくなります。既知の制限には、NVMe ドライブからエキスパートを読み込んで 128 GB のマシン 1 台で 763B の DeepSeek V4.1 Flash を動かす構成はデコードが毎秒約 5 から 11 トークンにとどまり、日常用ではなくデモだと書かれています。
サーバーは既定で 127.0.0.1 で待ち受けますが、サーバースクリプトに API キーや認証のオプションは見当たりませんでした。ネットワークに公開する前にプロキシを置く必要があります。エンジンには、モデルの活性から 1 つの方向を取り除いて拒否を減らす、実行時のオプションの拒否フックもあります。仕様ファイルを指定しない限り無効で、プリセットは Hugging Face の各パックの別フォルダーに入っています。
注意点:汎用のモデルランナーではありません。モデルファミリーごとにサーバースクリプトとフラグが異なり、Strix Halo では Linux、gfx1151 向け ROCm 7 のナイトリー wheel、約 12 GB の SDK ツリーが必要です。最新の Hy4-flash は一度に 1 リクエストのみで、デコード は greedy だけです。10 月に 15 回、11 月 20 日までにさらに 13 回というリリースの速さでは、ガイドのコマンドが 1 週間で古くなることもあります。
結論:Strix Halo 機を持っていて、コーディングエージェントの裏で GLM-5.3-Flash を動かしたいなら、ビルドに午後を費やす価値はあります。Mac や機種が混在する環境なら、ds4 や llama.cpp のほうが少ない手間で近い結果が得られます。
真価を発揮する場面
128 GB の Strix Halo ミニ PC を持つ開発者
API のトークン代を払わずに、強力なオープンモデルをコーディングエージェントの裏で使う
ROCm の wheel を入れて `./build.sh` を実行し、100.1 GB の GLM-5.3-Flash パックをダウンロードして `tools/glm/serve.py` を起動します。エージェントの OpenAI ベース URL をポート 8000 に向けます。README によると 8K でデコードは毎秒約 32 トークンです。
RTX 3090 を 1 枚持つ愛好家
文書作業のために Qwen3.8-27B を非常に長いコンテキストで動かす
CUDA 向けにビルドし、README のコマンドどおり turboderp の 4.0 bpw パック(15 GiB)を 245,760 トークンのコンテキストと 6 ビットの K・V キャッシュで起動します。費用はカードと電気代だけです。
ミニ PC を比較するハードウェアレビュアー
マシン間で比較できる LLM の速度データを取る
稼働中のサーバーに対して `tools/bench.sh` を実行し、出力された Markdown をプロジェクトのベンチマーク報告テンプレートで投稿します。マシン、バージョン、コンテキスト長が記録されます。
導入前に確認すること
- 導入
- Strix Halo では Python 3.12 の venv を作り、AMD の gfx1151 ナイトリーインデックスから ROCm 版 torch と `rocm-sdk-devel` を入れ、`./build.sh` を実行してからモデルのサーバースクリプトを起動します。GLM の初回起動では約 10 分カーネルを調整します。RTX と Mac には個別のガイドがあります。
- 連携
- OpenAI 互換の `/v1/chat/completions` と `/v1/models`、llama.cpp 互換の Prometheus `/metrics` エンドポイント、ユーザー提供の Nix flake とコンテナビルド。
- データとプライバシー
- すべて自分のマシンで動き、サーバーは既定で 127.0.0.1 で待ち受けます。Kyojin の追加部分は MIT、ExLlamaV3 も MIT で、モデルの重みは開発元のライセンスに従います。
- 大規模利用時のコスト
- 有料プランはありません。費用は 128 GB の Strix Halo 機、sm_80 以降の RTX カード、または大型の Mac Studio と電気代です。パックはディスク上で 15 GiB から 184.7 GB を使います。
- 制限
- Strix Halo では Linux、128 GB の gfx1151、ROCm 7.0 以降が必要です。Hy4-flash は一度に 1 リクエスト、greedy のみで、計測済みは 64K です。763B の DeepSeek はデコードが毎秒約 5 から 11 トークンです。
良い点
- マシン、モデル、バージョンごとに再現できる速度の数値を公開
- 127.0.0.1 で動く OpenAI 互換サーバー、投機的デコードは既定で有効
- インストールガイドがメモリの余裕、調整時間、システム設定を明記
- 活発なプロジェクト:2 か月足らずで 28 リリース、14 人のコントリビューター
気になる点
- Strix Halo 向けビルドには Linux、ROCm 7 のナイトリー wheel、長いコンパイルが必要
- モデルファミリーごとに別のサーバースクリプトで、汎用ランナーではない
- サーバーに認証オプションが見当たらない
- リリースが速く、ガイドやフラグが毎週変わる
おすすめの人
128 GB の AMD Strix Halo 機を持ち、GLM-5.3-Flash や Qwen3.8-Flash-Next をハードウェアの許す最高速度でロ ーカルに動かしたい人に向いています。
Kyojinの代替
Kyojin:よくある質問
- Kyojinは使う価値があるか?
- Kyojin は 128 GB の Strix Halo 機で GLM-5.3-Flash を速く動かすための、もっとも丁寧に計測された方法です。ただし ROCm カーネルのビルドに抵抗がなく、数日ごとに変わるリリースに付き合えることが前提です。 評価は5点満点中3.9点です。
- Kyojinの料金は?
- 無料のオープンソース(MIT)です。ハードウェアは自分で用意し、モデルの重みはそれぞれの開発元のライセンスに従います。
- Kyojinの欠点は?
- Strix Halo 向けビルドには Linux、ROCm 7 のナイトリー wheel、長いコンパイルが必要; モデルファミリーごとに別のサーバースクリプトで、汎用ランナーではない; サーバーに認証オプションが見当たらない; リリースが速く、ガイドやフラグが毎週変わる.
- Kyojinは誰に向いているか?
- 128 GB の AMD Strix Halo 機を持ち、GLM-5.3-Flash や Qwen3.8-Flash-Next をハードウェアの許す最高速度でローカルに動かしたい人に向いています。
- チームや本番環境でKyojinを使うと費用はいくらか?
- 有料プランはありません。費用は 128 GB の Strix Halo 機、sm_80 以降の RTX カード、または大 型の Mac Studio と電気代です。パックはディスク上で 15 GiB から 184.7 GB を使います。
- Kyojinは企業データを扱っても安全か?
- すべて自分のマシンで動き、サーバーは既定で 127.0.0.1 で待ち受けます。Kyojin の追加部分は MIT、ExLlamaV3 も MIT で、モデルの重みは開発元のライセンスに従います。
- Kyojinの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はDwarfStar (ds4), llama.cpp, Strata 、 MLXです。
回答確認日:2026年11月20日