Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Kyojin

Ein ExLlamaV3-Fork, abgestimmt auf offene Modelle der 100-GB-Klasse wie GLM-5.3-Flash auf einem AMD-Strix-Halo-Rechner, einer RTX-Karte oder einem Mac Studio.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.9/5

Kyojin ist der am sorgfältigsten vermessene Weg, GLM-5.3-Flash auf einem Strix-Halo-Rechner mit 128 GB schnell laufen zu lassen, sofern du ROCm-Kernels selbst bauen kannst und mit einem Release lebst, das sich alle paar Tage ändert.

Was ist Kyojin?

Kyojin ist eine Inferenz-Engine von Yamz Labs auf Basis von ExLlamaV3 von turboderp. Sie bedient eine kurze Liste großer offener Modelle über eine OpenAI-kompatible API, mit einem eigenen Serve-Skript pro Modellfamilie: GLM-5.3-Flash, Qwen3.8-Flash-Next, MiMo-V2.6-Flash und Hy4-flash auf AMD Strix Halo (gfx1151, 128 GB), Qwen3.8-27B und zwei kleinere Pakete auf einer NVIDIA RTX 3090 sowie DeepSeek V4.1 Flash auf einem Mac Studio über das Schwesterprojekt kyojin-mac, das MLX nutzt.

Der Großteil der Arbeit steckt im Kernel-Tuning für AMD, in spekulativem Decoding (standardmäßig an und mit denselben Tokens wie normales Decoding) und im Umgang mit langem Kontext. Das Projekt veröffentlicht eigene quantisierte EXL3-Pakete auf Hugging Face; das GLM-5.3-Flash-Paket ist 100,1 GB groß.

Das Repository steht unter MIT-Lizenz, ist in Python mit HIP- und CUDA-Kernels geschrieben und hat etwa 245 GitHub-Sterne. Es entstand im Oktober 2026 und hatte bis zum 20. November 2026, als v1.9.1 erschien, 28 Releases veröffentlicht.

Lohnt sich Kyojin?

Kyojin gibt es für eine unbequeme Maschine. AMDs Strix-Halo-Mini-PCs haben 128 GB Speicher, den die GPU nutzen kann, genug für ein 100-GB-Modell, doch allgemeine Runner verschenken viel von ihrer Geschwindigkeit. Das README von Kyojin nennt für GLM-5.3-Flash bei 8K Kontext auf einem solchen Rechner 32 Tokens pro Sekunde beim Decoding und 633 beim Prefill, für Qwen3.8-Flash-Next 53 und 1.576. Auf einer RTX 3090 nennt es 75 und 1.621 für Qwen3.8-27B bei 5K, auf einem Mac Studio mit M5 Ultra 62 und 3.001 für DeepSeek V4.1 Flash. Das sind Zahlen der Maintainer, doch die Messmethode ist dokumentiert, und mit dem Skript `tools/bench.sh` kannst du eigene Werte einreichen.

Die Dokumentation ist ungewöhnlich genau, was die Kosten angeht. Laut Installationsanleitung verbringt der erste GLM-Start etwa 10 Minuten mit Kernel-Tuning, während der Port geschlossen bleibt; GLM mit 131.072 Tokens Kontext lässt auf einer 128-GB-Maschine etwa 10 GiB frei; und das Abschalten der IOMMU brachte in ihren Tests 6 % mehr Prefill, schaltet aber die NPU ab. Die Liste bekannter Grenzen sagt, dass der 763B-Lauf von DeepSeek V4.1 Flash auf einer einzigen 128-GB-Maschine, der Experten von einer NVMe-SSD lädt, nur etwa 5 bis 11 Tokens pro Sekunde decodiert und eine Demonstration ist, kein Alltagswerkzeug.

Die Server binden standardmäßig an 127.0.0.1, und wir haben in den Serve-Skripten keine Option für API-Schlüssel oder Authentifizierung gefunden; vor jeder Freigabe ins Netz gehört also ein Proxy davor. Die Engine enthält außerdem einen optionalen Laufzeit-Hook gegen Verweigerungen, der eine Richtung aus den Aktivierungen des Modells herausrechnet, damit es seltener ablehnt. Er ist aus, solange du ihn nicht auf eine Spezifikation verweist; die Presets liegen in einem eigenen Ordner jedes Hugging-Face-Pakets.

Der Haken: Das ist kein allgemeiner Modell-Runner. Jede Modellfamilie hat ihr eigenes Serve-Skript und eigene Flags, der Strix-Halo-Weg braucht Linux, ROCm-7-Nightly-Wheels für gfx1151 und einen SDK-Baum von etwa 12 GB, und der neueste Weg für Hy4-flash bearbeitet nur eine Anfrage zugleich und nur mit Greedy-Decoding. Fünfzehn Releases im Oktober und 13 weitere bis zum 20. November bedeuten, dass Befehle in einer Anleitung binnen einer Woche veralten können.

Unser Fazit: Wer einen Strix-Halo-Rechner hat und GLM-5.3-Flash hinter einem Coding-Agenten betreiben will, für den lohnt sich der Nachmittag mit dem Build; mit einem Mac oder gemischtem Gerätepark sind ds4 oder llama.cpp bei ähnlichem Ergebnis weniger Arbeit.

Wo es sich lohnt

  • Ein Entwickler mit einem Strix-Halo-Mini-PC mit 128 GB

    Ein starkes offenes Modell hinter einem Coding-Agenten nutzen, statt API-Tokens zu bezahlen

    ROCm-Wheels installieren, `./build.sh` ausführen, das 100,1 GB große GLM-5.3-Flash-Paket laden und `tools/glm/serve.py` starten; die OpenAI-Basis-URL des Agenten auf Port 8000 zeigen lassen. Das README nennt etwa 32 Tokens pro Sekunde Decoding bei 8K.

  • Ein Hobbyist mit einer RTX 3090

    Qwen3.8-27B mit sehr langem Kontext für Dokumentarbeit bereitstellen

    Für CUDA bauen und das 4.0-bpw-Paket von turboderp (15 GiB) mit 245.760 Tokens Kontext und 6-Bit-K- und -V-Cache starten, wie im Befehl des README. Keine Kosten über Karte und Strom hinaus.

  • Ein Hardware-Tester, der Mini-PCs vergleicht

    Vergleichbare LLM-Geschwindigkeitswerte über mehrere Maschinen erhalten

    `tools/bench.sh` gegen einen laufenden Server ausführen und den Markdown-Block über die Benchmark-Vorlage des Projekts einreichen, die Maschine, Version und Kontexttiefe festhält.

Bevor du dich festlegst

Einrichtung
Strix Halo: ein Python-3.12-venv anlegen, ROCm-torch und `rocm-sdk-devel` aus AMDs gfx1151-Nightly-Index installieren, `./build.sh` ausführen, dann das Serve-Skript des Modells; der erste GLM-Start tunt etwa 10 Minuten lang Kernels. RTX und Mac haben eigene Anleitungen.
Integrationen
OpenAI-kompatibles `/v1/chat/completions` und `/v1/models`; llama.cpp-kompatibler Prometheus-Endpunkt `/metrics`; Nix-Flake und Container-Builds aus der Community.
Daten und Datenschutz
Läuft vollständig auf deinem Rechner; die Server binden standardmäßig an 127.0.0.1. MIT-Lizenz für Kyojins Ergänzungen; ExLlamaV3 ist MIT, Modellgewichte behalten die Lizenzen ihrer Hersteller.
Kosten im großen Maßstab
Kein Bezahlangebot. Die Kosten sind ein Strix-Halo-Rechner mit 128 GB, eine RTX-Karte ab sm_80 oder ein großer Mac Studio plus Strom; Pakete belegen 15 GiB bis 184,7 GB Platte.
Grenzen
Strix Halo braucht Linux, gfx1151 mit 128 GB und ROCm 7.0 oder neuer. Hy4-flash bedient eine Anfrage zugleich, nur Greedy, 64K gemessen. Der 763B-DeepSeek-Lauf decodiert mit etwa 5 bis 11 Tokens pro Sekunde.

Was gut ist

  • Veröffentlichte, nachvollziehbare Geschwindigkeitswerte pro Maschine, Modell und Version
  • OpenAI-kompatibler Server auf 127.0.0.1, spekulatives Decoding standardmäßig an
  • Installationsanleitung nennt Speicherreserve, Tuning-Zeit und Systemeinstellungen klar
  • Aktives Projekt: 28 Releases und 14 Mitwirkende in weniger als zwei Monaten

Was nicht

  • Der Strix-Halo-Build braucht Linux, ROCm-7-Nightly-Wheels und lange Kompilierzeit
  • Ein Serve-Skript pro Modellfamilie; kein allgemeiner Runner
  • Keine Authentifizierungsoption in den Servern gefunden
  • Das Release-Tempo lässt Anleitungen und Flags wöchentlich veralten

Am besten für

Besitzer eines AMD-Strix-Halo-Rechners mit 128 GB, die GLM-5.3-Flash oder Qwen3.8-Flash-Next lokal so schnell betreiben wollen, wie die Hardware es zulässt.

Alternativen zu Kyojin

Kyojin: häufige Fragen

Lohnt sich Kyojin?
Kyojin ist der am sorgfältigsten vermessene Weg, GLM-5.3-Flash auf einem Strix-Halo-Rechner mit 128 GB schnell laufen zu lassen, sofern du ROCm-Kernels selbst bauen kannst und mit einem Release lebst, das sich alle paar Tage ändert. Wir bewerten es mit 3.9 von 5.
Was kostet Kyojin?
Kostenlos und Open Source (MIT). Die Hardware stellst du; die Modellgewichte behalten die Lizenzen ihrer Hersteller.
Welche Nachteile hat Kyojin?
Der Strix-Halo-Build braucht Linux, ROCm-7-Nightly-Wheels und lange Kompilierzeit; Ein Serve-Skript pro Modellfamilie; kein allgemeiner Runner; Keine Authentifizierungsoption in den Servern gefunden; Das Release-Tempo lässt Anleitungen und Flags wöchentlich veralten.
Für wen eignet sich Kyojin?
Besitzer eines AMD-Strix-Halo-Rechners mit 128 GB, die GLM-5.3-Flash oder Qwen3.8-Flash-Next lokal so schnell betreiben wollen, wie die Hardware es zulässt.
Was kostet Kyojin für ein Team oder im Produktivbetrieb?
Kein Bezahlangebot. Die Kosten sind ein Strix-Halo-Rechner mit 128 GB, eine RTX-Karte ab sm_80 oder ein großer Mac Studio plus Strom; Pakete belegen 15 GiB bis 184,7 GB Platte.
Ist Kyojin sicher für Firmendaten?
Läuft vollständig auf deinem Rechner; die Server binden standardmäßig an 127.0.0.1. MIT-Lizenz für Kyojins Ergänzungen; ExLlamaV3 ist MIT, Modellgewichte behalten die Lizenzen ihrer Hersteller.
Was sind die besten Alternativen zu Kyojin?
Die nächsten Alternativen, die wir getestet haben, sind DwarfStar (ds4), llama.cpp, Strata und MLX.

Antworten geprüft am 20. Nov. 2026.