Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Kyojin

Um fork do ExLlamaV3 ajustado para servir modelos abertos de cerca de 100 GB, como o GLM-5.3-Flash, em uma máquina AMD Strix Halo, uma placa RTX ou um Mac Studio.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

3.9/5

Kyojin é o jeito mais cuidadosamente medido de fazer o GLM-5.3-Flash rodar rápido em uma máquina Strix Halo de 128 GB, desde que você aceite compilar kernels ROCm e conviver com uma versão que muda a cada poucos dias.

O que é Kyojin?

Kyojin é um motor de inferência da Yamz Labs construído sobre o ExLlamaV3, de turboderp. Ele serve uma lista curta de grandes modelos abertos por uma API compatível com OpenAI, com um script de servidor separado para cada família de modelos: GLM-5.3-Flash, Qwen3.8-Flash-Next, MiMo-V2.6-Flash e Hy4-flash no AMD Strix Halo (gfx1151, 128 GB), Qwen3.8-27B e dois pacotes menores em uma NVIDIA RTX 3090, e DeepSeek V4.1 Flash em um Mac Studio pelo projeto irmão kyojin-mac, que usa MLX.

A maior parte do trabalho é ajuste de kernels para AMD, decodificação especulativa (ligada por padrão e com os mesmos tokens da decodificação comum) e tratamento de contexto longo. O projeto publica seus próprios pacotes EXL3 quantizados no Hugging Face; o do GLM-5.3-Flash tem 100,1 GB.

O repositório tem licença MIT, é escrito em Python com kernels HIP e CUDA e tem cerca de 245 estrelas no GitHub. Foi criado em outubro de 2026 e tinha publicado 28 versões até 20 de novembro de 2026, quando saiu a v1.9.1.

Kyojin vale a pena?

Kyojin existe para uma máquina incômoda. Os mini PCs Strix Halo da AMD têm 128 GB de memória que a GPU pode usar, o bastante para um modelo de 100 GB, mas os motores genéricos desperdiçam boa parte da velocidade. O README do Kyojin informa 32 tokens por segundo de decodificação e 633 de prefill para o GLM-5.3-Flash com 8K de contexto em uma dessas máquinas, e 53 e 1.576 para o Qwen3.8-Flash-Next. Em uma RTX 3090, informa 75 e 1.621 para o Qwen3.8-27B a 5K, e 62 e 3.001 para o DeepSeek V4.1 Flash em um Mac Studio M5 Ultra. São números dos mantenedores, mas o método está documentado e um script `tools/bench.sh` permite que você publique os seus.

A documentação é incomumente precisa sobre custos. O guia de instalação diz que a primeira inicialização do GLM passa cerca de 10 minutos ajustando kernels com a porta fechada, que o GLM com contexto de 131.072 tokens deixa cerca de 10 GiB livres em uma máquina de 128 GB e que desligar o IOMMU rendeu 6% a mais de prefill nos testes deles, ao custo de desativar a NPU. A lista de limites conhecidos diz que a execução do DeepSeek V4.1 Flash de 763B em uma única máquina de 128 GB, que lê experts de um SSD NVMe, decodifica a apenas cerca de 5 a 11 tokens por segundo e é uma demonstração, não uma ferramenta para o dia a dia.

Os servidores escutam em 127.0.0.1 por padrão e não encontramos nenhuma opção de chave de API ou de autenticação nos scripts de servidor, então é preciso um proxy na frente antes de expor qualquer coisa a uma rede. O motor também traz um gancho opcional contra recusas, aplicado em tempo de execução, que remove uma direção das ativações do modelo para que ele recuse menos. Fica desligado a menos que você aponte uma especificação; os presets ficam em uma pasta separada de cada pacote do Hugging Face.

O porém: não é um motor genérico. Cada família de modelos tem seu próprio script e suas opções, o caminho Strix Halo exige Linux, wheels nightly do ROCm 7 para gfx1151 e uma árvore de SDK de cerca de 12 GB, e o caminho mais novo, Hy4-flash, atende uma requisição por vez e só com decodificação greedy. Quinze versões em outubro e mais 13 até 20 de novembro significam que os comandos de um guia podem ficar velhos em uma semana.

Nossa opinião: com uma máquina Strix Halo e a vontade de rodar o GLM-5.3-Flash por trás de um agente de programação, o Kyojin vale a tarde de compilação; com um Mac ou um parque de máquinas variado, ds4 ou llama.cpp dão resultado parecido com menos trabalho.

Onde ele se destaca

  • Um desenvolvedor com um mini PC Strix Halo de 128 GB

    Usar um modelo aberto forte por trás de um agente de programação em vez de pagar tokens de API

    Instale os wheels do ROCm, rode `./build.sh`, baixe o pacote GLM-5.3-Flash de 100,1 GB e inicie `tools/glm/serve.py`; aponte a URL base OpenAI do agente para a porta 8000. O README informa cerca de 32 tokens por segundo de decodificação a 8K.

  • Um entusiasta com uma RTX 3090

    Servir o Qwen3.8-27B com contexto muito longo para trabalhar com documentos

    Compile para CUDA e sirva o pacote 4.0 bpw de turboderp (15 GiB) com 245.760 tokens de contexto e cache K e V de 6 bits, conforme o comando do README. Sem custo além da placa e da energia.

  • Um analista de hardware que compara mini PCs

    Obter números de velocidade de LLM comparáveis entre máquinas

    Rode `tools/bench.sh` contra um servidor em execução e envie o bloco Markdown pelo modelo de relatório de benchmark do projeto, que registra máquina, versão e profundidade de contexto.

Antes de decidir

Configuração
Strix Halo: crie um venv de Python 3.12, instale o torch para ROCm e o `rocm-sdk-devel` a partir do índice nightly gfx1151 da AMD, rode `./build.sh` e depois o script do modelo; a primeira inicialização do GLM ajusta kernels por cerca de 10 minutos. RTX e Mac têm guias próprios.
Integrações
`/v1/chat/completions` e `/v1/models` compatíveis com OpenAI; endpoint Prometheus `/metrics` compatível com llama.cpp; flake Nix e builds de contêiner contribuídos por usuários.
Dados e privacidade
Roda inteiramente na sua máquina; os servidores escutam em 127.0.0.1 por padrão. Licença MIT para o que o Kyojin acrescenta; o ExLlamaV3 é MIT e os pesos mantêm as licenças de seus criadores.
Custo em escala
Sem plano pago. O custo é uma máquina Strix Halo de 128 GB, uma placa RTX sm_80 ou mais nova ou um Mac Studio grande, mais a energia; os pacotes ocupam de 15 GiB a 184,7 GB de disco.
Limites
Strix Halo exige Linux, gfx1151 com 128 GB e ROCm 7.0 ou mais novo. Hy4-flash atende uma requisição por vez, só greedy, com 64K medidos. O DeepSeek de 763B decodifica a cerca de 5 a 11 tokens por segundo.

O que é bom

  • Números de velocidade publicados e reproduzíveis por máquina, modelo e versão
  • Servidor compatível com OpenAI em 127.0.0.1, com decodificação especulativa ligada por padrão
  • O guia de instalação detalha folga de memória, tempo de ajuste e configurações do sistema
  • Projeto ativo: 28 versões e 14 colaboradores em menos de dois meses

O que não é

  • Compilar para Strix Halo exige Linux, wheels nightly do ROCm 7 e uma compilação longa
  • Um script de servidor por família de modelos; não é um motor genérico
  • Não encontramos opção de autenticação nos servidores
  • O ritmo de versões faz guias e opções mudarem toda semana

Ideal para

Donos de uma máquina AMD Strix Halo de 128 GB que querem servir o GLM-5.3-Flash ou o Qwen3.8-Flash-Next localmente na maior velocidade que o hardware permite.

Alternativas ao Kyojin

Kyojin: perguntas frequentes

Kyojin vale a pena?
Kyojin é o jeito mais cuidadosamente medido de fazer o GLM-5.3-Flash rodar rápido em uma máquina Strix Halo de 128 GB, desde que você aceite compilar kernels ROCm e conviver com uma versão que muda a cada poucos dias. Damos nota 3.9 de 5.
Quanto custa Kyojin?
Gratuito e de código aberto (MIT). Você fornece o hardware; os pesos dos modelos mantêm as licenças de quem os criou.
Quais são as desvantagens de Kyojin?
Compilar para Strix Halo exige Linux, wheels nightly do ROCm 7 e uma compilação longa; um script de servidor por família de modelos; não é um motor genérico; não encontramos opção de autenticação nos servidores; o ritmo de versões faz guias e opções mudarem toda semana.
Para quem Kyojin é indicado?
Donos de uma máquina AMD Strix Halo de 128 GB que querem servir o GLM-5.3-Flash ou o Qwen3.8-Flash-Next localmente na maior velocidade que o hardware permite.
Quanto custa Kyojin para uma equipe ou em produção?
Sem plano pago. O custo é uma máquina Strix Halo de 128 GB, uma placa RTX sm_80 ou mais nova ou um Mac Studio grande, mais a energia; os pacotes ocupam de 15 GiB a 184,7 GB de disco.
Kyojin é seguro para dados da empresa?
Roda inteiramente na sua máquina; os servidores escutam em 127.0.0.1 por padrão. Licença MIT para o que o Kyojin acrescenta; o ExLlamaV3 é MIT e os pesos mantêm as licenças de seus criadores.
Quais são as melhores alternativas ao Kyojin?
As alternativas mais próximas que analisamos são DwarfStar (ds4), llama.cpp, Strata e MLX.

Respostas verificadas em 20 de nov. de 2026.