¿Qué es Kyojin?
Kyojin es un motor de inferencia de Yamz Labs basado en ExLlamaV3, de turboderp. Sirve una lista corta de grandes modelos abiertos mediante una API compatible con OpenAI, con un script de servidor distinto para cada familia de modelos: GLM-5.3-Flash, Qwen3.8-Flash-Next, MiMo-V2.6-Flash y Hy4-flash en AMD Strix Halo (gfx1151, 128 GB), Qwen3.8-27B y dos paquetes más pequeños en una NVIDIA RTX 3090, y DeepSeek V4.1 Flash en un Mac Studio a través del proyecto hermano kyojin-mac, que usa MLX.
La mayor parte del trabajo es ajuste de kernels para AMD, decodificación especulativa (activada por defecto y con los mismos tokens que la decodificación normal) y gestión de contextos largos. El proyecto publica sus propios paquetes EXL3 cuantizados en Hugging Face; el de GLM-5.3-Flash ocupa 100,1 GB.
El repositorio tiene licencia MIT, está escrito en Python con kernels HIP y CUDA y suma unas 245 estrellas en GitHub. Se creó en octubre de 2026 y había publicado 28 versiones hasta el 20 de noviembre de 2026, cuando salió la v1.9.1.
¿Merece la pena Kyojin?
Kyojin existe para una máquina incómoda. Los mini PC Strix Halo de AMD tienen 128 GB de memoria que la GPU puede usar, suficiente para un modelo de 100 GB, pero los motores generales desaprovechan buena parte de su velocidad. El README de Kyojin indica 32 tokens por segundo de decodificación y 633 de prefill para GLM-5.3-Flash con 8K de contexto en uno de esos equipos, y 53 y 1576 para Qwen3.8-Flash-Next. En una RTX 3090 indica 75 y 1621 para Qwen3.8-27B a 5K, y 62 y 3001 para DeepSeek V4.1 Flash en un Mac Studio M5 Ultra. Son cifras de los mantenedores, pero el método está documentado y un script `tools/bench.sh` te permite publicar las tuyas.
La documentación es inusualmente precisa sobre los costes. La guía de instalación dice que el primer arranque de GLM dedica unos 10 minutos a ajustar kernels con el puerto cerrado, que GLM con un contexto de 131.072 tokens deja unos 10 GiB libres en una máquina de 128 GB y que desactivar el IOMMU les dio un 6% más de prefill a cambio de apagar la NPU. La lista de límites conocidos dice que la ejecución del DeepSeek V4.1 Flash de 763B en una sola máquina de 128 GB, que lee expertos desde un disco NVMe, decodifica a solo unos 5 a 11 tokens por segundo y es una demostración, no una herramienta para el día a día.
Los servidores escuchan en 127.0.0.1 por defecto y no encontramos ninguna opción de clave de API ni de autenticación en los scripts de servidor, así que hace falta un proxy delante antes de exponer nada a una red. El motor también incluye un gancho opcional de rechazo en tiempo de ejecución que elimina una dirección de las activaciones del modelo para que se niegue menos. Está desactivado salvo que le indiques una especificación; los presets van en una carpeta aparte de cada paquete de Hugging Face.
La pega: no es un motor general. Cada familia de modelos tiene su propio script y sus opciones, la ruta de Strix Halo exige Linux, ruedas nightly de ROCm 7 para gfx1151 y un árbol de SDK de unos 12 GB, y la ruta más nueva, Hy4-flash, atiende una petición a la vez y solo con decodificación greedy. Quince versiones en octubre y 13 más hasta el 20 de noviembre significan que los comandos de una guía pueden quedarse viejos en una semana.
Nuestra opinión: si tienes un Strix Halo y quieres GLM-5.3-Flash detrás de un agente de programación, Kyojin compensa la tarde de compilación; con un Mac o un parque de máquinas variado, ds4 o llama.cpp dan un resultado parecido con menos trabajo.
Dónde se gana su sitio
Un desarrollador con un mini PC Strix Halo de 128 GB
Usar un modelo abierto potente detrás de un agente de programación en lugar de pagar tokens de API
Instala las ruedas de ROCm, ejecuta `./build.sh`, descarga el paquete GLM-5.3-Flash de 100,1 GB y arranca `tools/glm/serve.py`; apunta la URL base de OpenAI del agente al puerto 8000. El README indica unos 32 tokens por segundo de decodificación a 8K.
Un aficionado con una RTX 3090
Servir Qwen3.8-27B con un contexto muy largo para trabajar con documentos
Compila para CUDA y sirve el paquete de 4.0 bpw de turboderp (15 GiB) con 245.760 tokens de contexto y caché K y V de 6 bits, según el comando del README. Sin coste más allá de la tarjeta y la luz.
Un analista de hardware que compara mini PC
Obtener cifras de velocidad de LLM comparables entre máquinas
Ejecuta `tools/bench.sh` contra un servidor en marcha y envía el bloque Markdown con la plantilla de informe de benchmark del proyecto, que registra máquina, versión y profundidad de contexto.
Antes de decidirte
- Puesta en marcha
- Strix Halo: crea un venv de Python 3.12, instala torch para ROCm y `rocm-sdk-devel` desde el índice nightly gfx1151 de AMD, ejecuta `./build.sh` y luego el script del modelo; el primer arranque de GLM ajusta kernels durante unos 10 minutos. RTX y Mac tienen sus propias guías.
- Integraciones
- `/v1/chat/completions` y `/v1/models` compatibles con OpenAI; endpoint Prometheus `/metrics` compatible con llama.cpp; flake de Nix y contenedores aportados por usuarios.
- Datos y privacidad
- Funciona por completo en tu máquina; los servidores escuchan en 127.0.0.1 por defecto. Licencia MIT para lo que añade Kyojin; ExLlamaV3 es MIT y los pesos mantienen la licencia de sus creadores.
- Coste a escala
- Sin plan de pago. El coste es una máquina Strix Halo de 128 GB, una RTX con sm_80 o posterior o un Mac Studio grande, más la electricidad; los paquetes ocupan de 15 GiB a 184,7 GB de disco.
- Límites
- Strix Halo exige Linux, gfx1151 con 128 GB y ROCm 7.0 o posterior. Hy4-flash atiende una petición a la vez, solo greedy, con 64K medidos. El DeepSeek de 763B decodifica a unos 5 a 11 tokens por segundo.
Lo bueno
- Cifras de velocidad publicadas y reproducibles por máquina, modelo y versión
- Servidor compatible con OpenAI en 127.0.0.1 con decodificación especulativa activada por defecto
- La guía de instalación detalla memoria libre, tiempo de ajuste y ajustes del sistema
- Proyecto activo: 28 versiones y 14 colaboradores en menos de dos meses
Lo malo
- Compilar para Strix Halo exige Linux, ruedas nightly de ROCm 7 y una compilación larga
- Un script de servidor por familia de modelos; no es un motor general
- No encontramos opción de autenticación en los servidores
- El ritmo de versiones hace que guías y opciones cambien cada semana
Ideal para
Dueños de una máquina AMD Strix Halo de 128 GB que quieren servir GLM-5.3-Flash o Qwen3.8-Flash-Next en local a la mayor velocidad que permite el hardware.
Alternativas a Kyojin
Kyojin: preguntas frecuentes
- ¿Merece la pena Kyojin?
- Kyojin es la forma más cuidadosamente medida de hacer que GLM-5.3-Flash vaya rápido en un equipo Strix Halo de 128 GB, siempre que te sientas cómodo compilando kernels de ROCm y viviendo con una versión que cambia cada pocos días. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta Kyojin?
- Gratuito y de código abierto (MIT). Tú pones el hardware; los pesos de cada modelo conservan la licencia de su creador.
- ¿Qué inconvenientes tiene Kyojin?
- Compilar para Strix Halo exige Linux, ruedas nightly de ROCm 7 y una compilación larga; un script de servidor por familia de modelos; no es un motor general; no encontramos opción de autenticación en los servidores; el ritmo de versiones hace que guías y opciones cambien cada semana.
- ¿Para quién es Kyojin?
- Dueños de una máquina AMD Strix Halo de 128 GB que quieren servir GLM-5.3-Flash o Qwen3.8-Flash-Next en local a la mayor velocidad que permite el hardware.
- ¿Cuánto cuesta Kyojin para un equipo o en producción?
- Sin plan de pago. El coste es una máquina Strix Halo de 128 GB, una RTX con sm_80 o posterior o un Mac Studio grande, más la electricidad; los paquetes ocupan de 15 GiB a 184,7 GB de disco.
- ¿Es Kyojin seguro para los datos de la empresa?
- Funciona por completo en tu máquina; los servidores escuchan en 127.0.0.1 por defecto. Licencia MIT para lo que añade Kyojin; ExLlamaV3 es MIT y los pesos mantienen la licencia de sus creadores.
- ¿Cuáles son las mejores alternativas a Kyojin?
- Las alternativas más cercanas que hemos analizado son DwarfStar (ds4), llama.cpp, Strata y MLX.
Respuestas comprobadas el 20 nov 2026.