Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Kyojin

Un fork d’ExLlamaV3 réglé pour servir des modèles ouverts d’environ 100 Go, comme GLM-5.3-Flash, sur une machine AMD Strix Halo, une carte RTX ou un Mac Studio.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

3.9/5

Kyojin est la manière la plus soigneusement mesurée de faire tourner vite GLM-5.3-Flash sur une machine Strix Halo de 128 Go, à condition d’accepter de compiler des noyaux ROCm et de suivre une version qui change tous les deux ou trois jours.

Qu’est-ce que Kyojin ?

Kyojin est un moteur d’inférence de Yamz Labs construit sur ExLlamaV3, de turboderp. Il sert une courte liste de grands modèles ouverts via une API compatible OpenAI, avec un script de serveur distinct par famille de modèles : GLM-5.3-Flash, Qwen3.8-Flash-Next, MiMo-V2.6-Flash et Hy4-flash sur AMD Strix Halo (gfx1151, 128 Go), Qwen3.8-27B et deux paquets plus petits sur une NVIDIA RTX 3090, et DeepSeek V4.1 Flash sur un Mac Studio via le projet compagnon kyojin-mac, qui utilise MLX.

L’essentiel du travail porte sur le réglage des noyaux AMD, le décodage spéculatif (actif par défaut, et qui renvoie les mêmes tokens que le décodage classique) et la gestion des longs contextes. Le projet publie ses propres paquets EXL3 quantifiés sur Hugging Face ; celui de GLM-5.3-Flash pèse 100,1 Go.

Le dépôt est sous licence MIT, écrit en Python avec des noyaux HIP et CUDA, et compte environ 245 étoiles sur GitHub. Créé en octobre 2026, il avait publié 28 versions au 20 novembre 2026, date de sortie de la v1.9.1.

Kyojin vaut-il le coup ?

Kyojin existe pour une machine peu commode. Les mini-PC Strix Halo d’AMD offrent 128 Go de mémoire utilisable par le GPU, assez pour un modèle de 100 Go, mais les moteurs généralistes laissent filer une bonne part de leur vitesse. Le README de Kyojin annonce 32 tokens par seconde en décodage et 633 en prefill pour GLM-5.3-Flash avec 8K de contexte sur une telle machine, et 53 et 1 576 pour Qwen3.8-Flash-Next. Sur une RTX 3090, il annonce 75 et 1 621 pour Qwen3.8-27B à 5K, et 62 et 3 001 pour DeepSeek V4.1 Flash sur un Mac Studio M5 Ultra. Ce sont les chiffres des mainteneurs, mais la méthode est documentée et un script `tools/bench.sh` vous permet de publier les vôtres.

La documentation est d’une précision inhabituelle sur les coûts. Le guide d’installation indique que le premier lancement de GLM passe environ 10 minutes à régler ses noyaux, port fermé, que GLM avec un contexte de 131 072 tokens laisse environ 10 Gio libres sur une machine de 128 Go, et que couper l’IOMMU leur a fait gagner 6 % de prefill au prix de la désactivation du NPU. La liste des limites connues précise que l’exécution de DeepSeek V4.1 Flash, 763B, sur une seule machine de 128 Go, qui lit les experts depuis un SSD NVMe, ne décode qu’à environ 5 à 11 tokens par seconde et relève de la démonstration, pas de l’outil quotidien.

Les serveurs écoutent sur 127.0.0.1 par défaut et nous n’avons trouvé aucune option de clé d’API ni d’authentification dans les scripts de serveur : il faut donc un proxy devant avant toute exposition à un réseau. Le moteur comporte aussi un crochet optionnel anti-refus, appliqué à l’exécution, qui retire une direction des activations du modèle pour qu’il refuse moins. Il reste inactif tant que vous ne lui désignez pas de spécification ; les préréglages sont rangés dans un dossier à part de chaque paquet Hugging Face.

Le hic : ce n’est pas un moteur généraliste. Chaque famille de modèles a son script et ses options, la voie Strix Halo exige Linux, des wheels nightly ROCm 7 pour gfx1151 et une arborescence SDK d’environ 12 Go, et la voie la plus récente, Hy4-flash, traite une requête à la fois en décodage greedy uniquement. Quinze versions en octobre et 13 de plus au 20 novembre signifient que les commandes d’un guide peuvent vieillir en une semaine.

Notre avis : avec une machine Strix Halo et l’envie de faire tourner GLM-5.3-Flash derrière un agent de code, Kyojin vaut l’après-midi de compilation ; avec un Mac ou un parc hétérogène, ds4 ou llama.cpp donnent un résultat proche pour moins d’efforts.

Là où il fait la différence

  • Un développeur équipé d’un mini-PC Strix Halo de 128 Go

    Utiliser un modèle ouvert solide derrière un agent de code au lieu de payer des tokens d’API

    Installez les wheels ROCm, lancez `./build.sh`, téléchargez le paquet GLM-5.3-Flash de 100,1 Go et démarrez `tools/glm/serve.py` ; pointez l’URL de base OpenAI de l’agent vers le port 8000. Le README annonce environ 32 tokens par seconde en décodage à 8K.

  • Un amateur avec une RTX 3090

    Servir Qwen3.8-27B avec un très long contexte pour travailler sur des documents

    Compilez pour CUDA et servez le paquet 4.0 bpw de turboderp (15 Gio) avec 245 760 tokens de contexte et un cache K et V sur 6 bits, selon la commande du README. Aucun coût au-delà de la carte et de l’électricité.

  • Un testeur de matériel qui compare des mini-PC

    Obtenir des chiffres de vitesse LLM comparables d’une machine à l’autre

    Lancez `tools/bench.sh` sur un serveur en marche et soumettez le bloc Markdown via le modèle de rapport de benchmark du projet, qui consigne machine, version et profondeur de contexte.

Avant de vous engager

Mise en route
Strix Halo : créez un venv Python 3.12, installez torch pour ROCm et `rocm-sdk-devel` depuis l’index nightly gfx1151 d’AMD, lancez `./build.sh`, puis le script du modèle ; le premier lancement de GLM règle ses noyaux pendant environ 10 minutes. RTX et Mac ont leurs propres guides.
Intégrations
`/v1/chat/completions` et `/v1/models` compatibles OpenAI ; point de terminaison Prometheus `/metrics` compatible llama.cpp ; flake Nix et conteneurs fournis par des utilisateurs.
Données et confidentialité
Tout tourne sur votre machine ; les serveurs écoutent sur 127.0.0.1 par défaut. Licence MIT pour les ajouts de Kyojin ; ExLlamaV3 est sous MIT et les poids gardent la licence de leur éditeur.
Coût à grande échelle
Pas d’offre payante. Le coût est une machine Strix Halo de 128 Go, une carte RTX sm_80 ou plus récente ou un grand Mac Studio, plus l’électricité ; les paquets occupent de 15 Gio à 184,7 Go de disque.
Limites
Strix Halo exige Linux, un gfx1151 avec 128 Go et ROCm 7.0 ou plus récent. Hy4-flash traite une requête à la fois, en greedy seulement, 64K mesurés. Le DeepSeek 763B décode à environ 5 à 11 tokens par seconde.

Les points forts

  • Chiffres de vitesse publiés et reproductibles par machine, modèle et version
  • Serveur compatible OpenAI sur 127.0.0.1, décodage spéculatif actif par défaut
  • Le guide d’installation détaille marge mémoire, temps de réglage et réglages système
  • Projet actif : 28 versions et 14 contributeurs en moins de deux mois

Les points faibles

  • La compilation Strix Halo exige Linux, des wheels nightly ROCm 7 et une longue compilation
  • Un script de serveur par famille de modèles ; pas un moteur généraliste
  • Aucune option d’authentification trouvée dans les serveurs
  • Le rythme des versions fait évoluer guides et options chaque semaine

Idéal pour

Les propriétaires d’une machine AMD Strix Halo de 128 Go qui veulent servir GLM-5.3-Flash ou Qwen3.8-Flash-Next en local à la meilleure vitesse que permet le matériel.

Alternatives à Kyojin

Kyojin : questions fréquentes

Kyojin vaut-il le coup ?
Kyojin est la manière la plus soigneusement mesurée de faire tourner vite GLM-5.3-Flash sur une machine Strix Halo de 128 Go, à condition d’accepter de compiler des noyaux ROCm et de suivre une version qui change tous les deux ou trois jours. Nous lui donnons 3.9 sur 5.
Combien coûte Kyojin ?
Gratuit et open source (MIT). Vous fournissez le matériel ; les poids des modèles gardent la licence de leur éditeur.
Quels sont les inconvénients de Kyojin ?
La compilation Strix Halo exige Linux, des wheels nightly ROCm 7 et une longue compilation; un script de serveur par famille de modèles ; pas un moteur généraliste; aucune option d’authentification trouvée dans les serveurs; le rythme des versions fait évoluer guides et options chaque semaine.
À qui s’adresse Kyojin ?
Les propriétaires d’une machine AMD Strix Halo de 128 Go qui veulent servir GLM-5.3-Flash ou Qwen3.8-Flash-Next en local à la meilleure vitesse que permet le matériel.
Combien coûte Kyojin pour une équipe ou en production ?
Pas d’offre payante. Le coût est une machine Strix Halo de 128 Go, une carte RTX sm_80 ou plus récente ou un grand Mac Studio, plus l’électricité ; les paquets occupent de 15 Gio à 184,7 Go de disque.
Kyojin est-il sûr pour les données de l’entreprise ?
Tout tourne sur votre machine ; les serveurs écoutent sur 127.0.0.1 par défaut. Licence MIT pour les ajouts de Kyojin ; ExLlamaV3 est sous MIT et les poids gardent la licence de leur éditeur.
Quelles sont les meilleures alternatives à Kyojin ?
Les alternatives les plus proches que nous avons testées sont DwarfStar (ds4), llama.cpp, Strata et MLX.

Réponses vérifiées le 20 nov. 2026.