Kyojin의 개요
Kyojin은 Yamz Labs가 turboderp의 ExLlamaV3를 바탕으로 만든 추론 엔진입니다. 소수의 대형 오픈 모델을 OpenAI 호환 API로 제공하며, 모델 계열마다 별도의 서버 스크립트를 둡니다. AMD Strix Halo(gfx1151, 128 GB)에서는 GLM-5.3-Flash, Qwen3.8-Flash-Next, MiMo-V2.6-Flash, Hy4-flash를, NVIDIA RTX 3090에서는 Qwen3.8-27B와 소형 패키지 두 개를, Mac Studio에서는 MLX를 쓰는 자매 프로젝트 kyojin-mac을 통해 DeepSeek V4.1 Flash를 지원합니다.
작업의 대부분은 AMD용 커널 튜닝, 추측 디코딩(기본으로 켜져 있으며 일반 디코딩과 같은 토큰을 반환합니다), 긴 컨텍스트 처리입니다. 프로젝트는 직접 양자화한 EXL3 패키지를 Hugging Face에 공개하며, GLM-5.3-Flash 패키지는 100.1 GB입니다.
저장소는 MIT 라이선스이고 Python과 HIP·CUDA 커널로 작성되었으며 GitHub 스타는 약 245개입니다. 2026년 10월에 만들어졌고 v1.9.1이 나온 2026년 11월 20일까지 28번 릴리스했습니다.
Kyojin, 쓸 만한 가치가 있습니까?
Kyojin은 다루기 까다로운 장비 하나를 위해 존재합니다. AMD의 Strix Halo 미니 PC는 GPU가 쓸 수 있는 메모리가 128 GB여서 100 GB 모델이 들어가지만, 범용 런너는 속도의 상당 부분을 놓칩니다. Kyojin의 README에 따르면 이런 장비 한 대에서 GLM-5.3-Flash는 8K 컨텍스트 기준 디코딩 초당 32토큰, 프리필 633토큰이고, Qwen3.8-Flash-Next는 53과 1,576입니다. RTX 3090에서는 Qwen3.8-27B가 5K에서 75와 1,621, Mac Studio M5 Ultra에서는 DeepSeek V4.1 Flash가 62와 3,001입니다. 모두 메인테이너가 측정한 수치이지만 방법이 문서화되어 있고, `tools/bench.sh` 스크립트로 직접 결과를 올릴 수 있습니다.
비용에 관한 문서는 보기 드물게 정확합니다. 설치 가이드에 따르 면 GLM의 첫 실행은 포트를 닫은 채 약 10분 동안 커널을 튜닝합니다. 131,072토큰 컨텍스트로 GLM을 돌리면 128 GB 장비에서 약 10 GiB가 남습니다. IOMMU를 끄면 테스트에서 프리필이 6% 올랐지만 NPU를 쓸 수 없게 됩니다. 알려진 한계 목록에는 NVMe 드라이브에서 전문가를 읽어 128 GB 장비 한 대로 763B DeepSeek V4.1 Flash를 돌리는 구성이 초당 약 5~11토큰만 디코딩하며, 일상용이 아니라 시연용이라고 적혀 있습니다.
서버는 기본으로 127.0.0.1에서 대기하지만 서버 스크립트에서 API 키나 인증 옵션은 찾지 못했습니다. 네트워크에 노출하기 전에 프록시를 앞에 두어야 합니다. 엔진에는 모델 활성값에서 한 방향을 제거해 거절을 줄이는 선택형 런타임 거절 훅도 있습니다. 사양 파일을 지정하지 않으면 꺼져 있으며, 프리셋은 각 Hugging Face 패키지의 별도 폴더에 들어 있습니다.
주의할 점: 범용 모델 런너가 아닙니다. 모델 계열마다 서버 스크립트와 플래그가 다르고, Strix Halo 경로는 Linux, gfx1151용 ROCm 7 나이틀리 wheel, 약 12 GB의 SDK 트리가 필요합니다. 가장 새로운 Hy4-flash 경로는 한 번에 요청 하나만, greedy 디코딩으로만 처리합니다. 10월에 15번, 11월 20일까지 13번 더 릴리스한 속도라면 가이드의 명령이 일주일 만에 낡을 수 있습니다.
결론: Strix Halo 장비가 있고 코딩 에이전트 뒤에서 GLM-5.3-Flash를 돌리고 싶다면 오후 한나절의 빌드는 할 만합니다. Mac이나 여러 기종이 섞인 환경이라면 ds4나 llama.cpp가 더 적은 수고로 비슷한 결과를 냅니다.
제 역할을 하는 곳
128 GB Strix Halo 미니 PC를 가진 개발자
API 토큰 비용을 내는 대신 강력한 오픈 모델을 코딩 에이전트 뒤에서 쓰기
ROCm wheel을 설치하고 `./build.sh`를 실행한 뒤 100.1 GB GLM-5.3-Flash 패키지를 내려받아 `tools/glm/serve.py`를 시작합니다. 에이전트의 OpenAI 기본 URL을 포트 8000으로 지정합니다. README에 따르면 8K에서 디코딩은 초당 약 32토큰입니다.
RTX 3090 한 장을 가진 취미 사용자
문서 작업을 위해 Qwen3.8-27B를 아주 긴 컨텍스트로 돌리기
CUDA용으로 빌드하고 README의 명령대로 turboderp의 4.0 bpw 패키지(15 GiB)를 245,760토큰 컨텍스트와 6비트 K·V 캐시로 실행합니다. 카드와 전기료 외에는 비용이 없습니다.
미니 PC를 비교하는 하드웨어 리뷰어
장비 간에 비교 가능한 LLM 속도 수치 얻기
실행 중인 서버에 `tools/bench.sh`를 돌리고 출력된 Markdown 블록을 프로젝트의 벤치마크 보고 템플릿으로 제출합니다. 장비, 버전, 컨텍스트 깊이가 기록됩니다.
도입 전 확인할 점
- 설정
- Strix Halo: Python 3.12 venv를 만들고 AMD gfx1151 나이틀리 인덱스에서 ROCm용 torch와 `rocm-sdk-devel`을 설치한 뒤 `./build.sh`를 실행하고 모델 서버 스크립트를 시작합니다. GLM 첫 실행은 약 10분간 커널을 튜닝합니다. RTX와 Mac은 별도 가이드가 있습니다.
- 연동
- OpenAI 호환 `/v1/chat/completions`와 `/v1/models`, llama.cpp 호환 Prometheus `/metrics` 엔드포인트, 사용자가 기여한 Nix flake와 컨테이너 빌드.
- 데이터와 개인정보
- 모두 내 장비에서 실행되며 서버는 기본으로 127.0.0.1에서 대기합니다. Kyojin의 추가분은 MIT, ExLlamaV3도 MIT이며 모델 가중치는 개발사 라이선스를 따릅니다.
- 대규모 사용 시 비용
- 유료 요금제는 없습니다. 비용은 128 GB Strix Halo 장비, sm_80 이상 RTX 카드 또는 대형 Mac Studio와 전기료입니다. 패키지는 디스크에서 15 GiB~184.7 GB를 차지합니다.
- 제한
- Strix Halo는 Linux, 128 GB gfx1151, ROCm 7.0 이상이 필요합니다. Hy4-flash는 한 번에 요청 하나, greedy만 지원하며 측정된 것은 64K입니다. 763B DeepSeek는 초당 약 5~11토큰으로 디코딩합니다.
좋은 점
- 장비, 모델, 버전별로 재현 가능한 속도 수치 공개
- 127.0.0.1에서 도는 OpenAI 호환 서버, 추측 디코딩 기본 활성화
- 설치 가이드가 메모리 여유, 튜닝 시간, 시스템 설정을 분명히 밝힘
- 활발한 프로젝트: 두 달이 안 되어 28번 릴리스, 기여자 14명
아쉬운 점
- Strix Halo 빌드에 Linux, ROCm 7 나이틀리 wheel, 긴 컴파일 필요
- 모델 계열마다 서버 스크립트가 따로이며 범용 런너가 아님
- 서버에서 인증 옵션을 찾지 못함
- 릴리스 속도 때문에 가이드와 플래그가 매주 바뀜
추천 대상
128 GB AMD Strix Halo 장비를 갖고 있고 GLM-5.3-Flash나 Qwen3.8-Flash-Next를 하드웨어가 허락하는 최고 속도로 로컬에서 돌리려는 사람에게 맞습니다.
Kyojin 대안
Kyojin: 자주 묻는 질문
- Kyojin, 쓸 만한 가치가 있습니까?
- Kyojin은 128 GB Strix Halo 장비에서 GLM-5.3-Flash를 빠르게 돌리는 가장 꼼꼼하게 측정된 방법입니다. 다만 ROCm 커널을 직접 빌드할 수 있고 며칠마다 바뀌는 릴리스를 감당할 수 있어야 합니다. 평점은 5점 만점에 3.9점입니다.
- Kyojin의 가격은 얼마입니까?
- 무료 오픈 소스(MIT)입니다. 하드웨어는 직접 준비하며, 모델 가중치는 각 개발사의 라이선스를 따릅니다.
- Kyojin의 단점은 무엇입니까?
- Strix Halo 빌드에 Linux, ROCm 7 나이틀리 wheel, 긴 컴파일 필요; 모델 계열마다 서버 스크립트가 따로이며 범용 런너가 아님; 서버에서 인증 옵션을 찾지 못함; 릴리스 속도 때문에 가이드와 플래그가 매주 바뀜.
- Kyojin에 적합한 사람은 누구입니까?
- 128 GB AMD Strix Halo 장비를 갖고 있고 GLM-5.3-Flash나 Qwen3.8-Flash-Next를 하드웨어가 허락하는 최고 속도로 로컬에서 돌리려는 사람에게 맞습니다.
- 팀이나 프로덕션 환경에서 Kyojin의 비용은 얼마입니까?
- 유료 요금제는 없습니다. 비용은 128 GB Strix Halo 장비, sm_80 이상 RTX 카드 또는 대형 Mac Studio와 전기료입니다. 패키지는 디스크에서 15 GiB~184.7 GB를 차지합니다.
- Kyojin에 회사 데이터를 맡겨도 안전합니까?
- 모두 내 장비에서 실행되며 서버는 기본으로 127.0.0.1에서 대기합니다. Kyojin의 추가분은 MIT, ExLlamaV3도 MIT이며 모델 가중치는 개발사 라이선스를 따릅니다.
- Kyojin의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 DwarfStar (ds4), llama.cpp, Strata 및 MLX입니다.
답변 확인일: 2026년 11월 20일.