Janas의 개요
Maurizio Cammalleri가 만든 Janas는 C 라이브러리 외에는 의존성이 없는, C로 작성된 AI 도구 모음입니다. 핵심인 Janas-LLM은 파일 크기가 머신 메모리보다 큰 mixture-of-experts 언어 모델을 실행합니다. 가중치는 디스크에 두고, 토큰마다 필요한 expert를 NVMe SSD에서 읽으며, 반복해서 쓰이는 expert는 남은 RAM을 채우는 expert 캐시에 보관합니다.
자체 .jns 형식을 읽습니다. 이 형식은 GGUF 파일(Q4_K_M과 그 밖의 여러 3비트에서 5비트 유형)에서 변환하거나, 프로젝트의 Hugging Face 계정에서 미리 변환된 것을 내려받습니다. 지원하는 모델 계열은 Qwen3, Qwen3.5, Qwen3.6, Qwen3-Next, Gemma 4, Llama 3입니다. 엔진 주위에는 터미널 채팅, janas-server(OpenAI 방식 HTTP API), janas-mcp(모델을 MCP 클라이언트용 도구로 제공), C 라이브러리가 있습니다.
저장소는 2026년 9월 20일에 만들어졌고 GitHub 스타 약 548개, 포크 44개이며, GPL-3.0 이상 라이선스입니다. x86-64용 Linux와 Windows 릴리스를 날짜가 붙은 버전으로 내며, 최신은 10월 30일의 v2026.10.30.1입니다. README는 이를 제품이 아니라 실험이라고 부릅니다.
Janas, 쓸 만한 가치가 있습니까?
Janas는 메모리에 들어가지 않는 mixture-of-experts 모델을 실행하려는 진지하고 이례적으로 문서화가 잘된 시도이지만, 대표 수치는 여전히 자체 보고로 읽어야 합니다. 제작자의 표는 노트북 한 대(Intel Core Ultra 9 185H, RAM 32 GB, 약 5.7 GB/s로 읽는 NVMe 디스크)에서 측정한 것으로, 48.4 GB 파일인 Qwen3-Next-80B가 생성 속도 26.4 tok/s로 llama.cpp의 3.0을 앞서고, 프롬프트 읽기에서도 68.4로 17.7을 앞선다고 나옵니다. 저장소의 한 줄 설명은 여전히 13개 모델 기준의 예전 수치인 37 tok/s와 llama.cpp의 2.8을 인용하지만, README에는 이제 17개 행이 있습니다. 37은 drafts에서 나온 수치입니다. 모델 자체의 예측 블록이 앞선 토큰을 추측하고 모델이 이를 확인하는 방식이며, README는 채팅에서 캐시가 데워진 상태로 31-35 tok/s를 제시합니다.
이 기법은 mixture-of-experts에만 해당합니다. Qwen3-Next는 매개변수 80B 중 토큰당 약 3B만 활성화하므로, Janas는 가장 많이 쓰이는 expert를 캐시(80B에서 21 GiB)에 두고 나머지는 O_DIRECT로 SSD에서 읽으며, 현재 레이어가 계산하는 동안 다음 레이어에서 쓰일 가능성이 높은 expert를 미리 가져옵니다. 캐시가 expert의 5분의 1 미만만 담을 때는 메모리에 없는 가벼운 expert를 아예 건너뛰는데, 이는 약간의 정확도를 속도와 맞바꾸는 것입니다. 제작자의 한 실행에서 llama.cpp의 최다 확률 토큰과의 일치는 400개 중 393개에서 384개로 떨어졌습니다. llama.cpp 기준선도 그 노트북에서 일반 빌드가 메모리 부족으로 멈춰 우회책을 써야 겨우 돌아갔으므로, 격차의 일부는 순수한 속도가 아니라 llama.cpp의 메모리 요구량을 잰 것입니다.
독립적인 증거는 실재하지만 부분적입니다. 테스터들은 RAM 약 31 GiB인 머신에서 drafts 없이 80B를 9.5에서 16.2 tok/s로 돌렸으며, 이는 작동한다는 사실을 확인해 줍니다. 26.4 대 3.0 비교를 재현한 사람은 없습니다. 가장 좋은 외부 직접 비교는 62.5 GiB인 i9-14900HX에서 이루어졌는데, Qwen3-30B에서는 llama.cpp가 더 빨랐고(38.9 대 28.3 tok/s), 그 머신의 RAM에 들어간 80B에서는 둘이 비겼으며, 142 GB인 Qwen3-235B에서는 Janas가 앞섰습니다(3.0 대 1.59). AVX-VNNI가 없는 Ryzen 5 5500에서는 llama.cpp가 프롬프트를 두 배 넘게 빨리 읽었습니다.
비용은 지연 시간과 안정성에서 드러납니다. 세션의 첫 응답은 expert가 아직 디스크에서 오는 동안 16-20 tok/s로 돌고, 32,000토큰 프롬프트를 읽는 데 15분이 걸렸으며, README는 엔진이 데스크톱을 스왑으로 몰아넣을 수 있고 한 번은 GPU 드라이버 리셋을 일으켰다고 경고합니다. GPU 지원은 Vulkan뿐이며, 열린 이슈에는 Intel Arc B580에서의 엉터리 출력과, AMD Radeon에서 GPU 곱 연산 테스트 3,980개 중 3,320개 실패가 보고되어 있습니다. 스트리밍 자체는 읽기입니다. README에 따르면 엔진은 ~/.cache/janas에만 쓰므로 SSD 마모는 걱정거리가 아닙니다. 걱정거리는 디스크 대역폭과 발열이며, 프로젝트는 내구성 수치를 공개하지 않습니다.
가장 큰 위험은 운영 구조입니다. 커밋 90개 모두 제작자의 것이고, CONTRIBUTING.md는 저작권을 보유할 비영리 재단이 생기기 전까지 외부 코드를 병합하지 않겠다고 밝힙니다. 그래서 ARM64, macOS, AVX-512 풀 리퀘스트가 열린 채로 있습니다. 스타 132,000여 개에 모든 하드웨어 백엔드를 갖춘 llama.cpp와 비교하면, Janas는 한 가지 상황에서만 이기는 좁은 도구입니다. RAM보다 큰 mixture-of-experts 모델을 x86-64에서 돌리는 경우입니다.
제 역할을 하는 곳
32 GB Linux 또는 Windows 노트북과 NVMe 드라이브를 가진 개발자
30B 모델 대신 Qwen3-Next-80B나 Qwen3-Coder-Next를 로컬에서 실행하기
릴리스를 내려받고, janas-get으로 미리 변환된 48.4 GB 파일을 가져온 뒤 janas-chat을 실행합니다. RAM 약 31 GiB인 머신의 테 스터들은 drafts 없이 9.5에서 16.2 tok/s를 보고합니다. expert 캐시가 채워지는 동안 첫 응답은 느리다고 예상하고, 다른 프로그램이 캐시에 필요한 메모리를 가져가므로 브라우저는 닫아 둡니다.
64 GB 워크스테이션을 가진 연구자
RAM을 더 사지 않고 142 GB Qwen3-235B 모델 시험하기
gguf2jns로 Q4_K_M GGUF를 변환하고 expert 캐시가 남은 메모리를 쓰게 합니다. 한 테스터는 생성 속도 3.0 tok/s를 측정했는데, 같은 머신에서 llama.cpp의 mmap 결과의 약 두 배입니다. 일괄 질문에는 쓸 만하지만 대화형 채팅에는 너무 느립니다.
사내 어시스턴트용으로 검토 중인 소규모 회사의 엔지니어링 리드
Janas 기반 로컬 OpenAI 호환 엔드포인트에 의존해도 안전한지 결정하기
janas-server는 127.0.0.1:8080에서 선택형 API 키와 함께 한 번에 요청 하나씩 처리하므로 팀이 아니라 한 사용자에게 맞습니다. GPL-3.0은 HTTP를 통한 사내 사용은 자유롭게 허용하지만, 배포하는 소프트웨어에 libjanas_llm을 링크하면 그 소프트웨어가 GPL이 됩니다. 메인테이너가 한 명이고 인터페이스가 매주 바뀌므로 업그레이드마다 재테스트할 시간을 잡아 둡니다.
도입 전 확인할 점
- 설정
- Linux x86-64(Ubuntu 22.04, Debian 12 이상)용 사전 빌드 tarball이나 Windows 10과 11용 zip을 씁니다. janas-get이 모델을 나열하고 내려받고 검증합니다. 소스 빌드에는 GCC만 필요하며, GPU에는 Vulkan 헤더와 glslang 15.2 이상이 더 필요합니다. 첫 응답까지의 시간은 대부분 모델 내려받기입니다.
- 연동
- janas-server는 테스트 페이지와 함께 OpenAI API(chat, completions, Responses, embeddings, batches)를 따릅니다. janas-mcp는 모델을 Claude Code 등 MCP 클라이언트에 제공합니다. FreeBASIC과 Node.js 바인딩을 갖춘 C 라이브러리가 있습니다. GPU는 Vulkan 1.3으로만, Intel NPU는 Linux의 Meteor Lake에서만 지원합니다.
- 데이터와 개인정보
- 로컬에서 실행되며 ~/.cache/janas와 변환한 모델을 둔 곳에만 씁니다. 텔레메트리에 대한 설명은 없습니다. 서버는 기본으로 API 키 없이 127.0.0.1에 바인딩됩니다. 코드는 GPL-3.0 이상이고, 변환된 모델은 각자의 라이선스를 유지합니다(Qwen의 Apache 2.0, Qwen3.8-Flash-Next의 Qwen Community License, DeepNSM의 비상업용 CC BY-NC-SA).
- 대규모 사용 시 비용
- 유료 에디션이 없으므로 비용은 하드웨어입니다. 기준 머신은 약 5.7 GB/s로 읽는 NVMe SSD를 갖춘 32 GB 노트북이며, 더 느린 디스크나 바쁜 머신에서는 속도가 떨어집니다. 서버가 단일 시퀀스 설계이므로 여러 사용자로 확장하려면 동시 사용자 한 명당 머신 한 대가 필요합니다.
- 제한
- 노트북 한 대에서 개발되고 측정되었습니다. 열린 이슈와 풀 리퀘스트는 약 21개이며, Intel Arc B580과 AMD Radeon Vega에서의 잘못된 GPU 출력, NVIDIA를 쓰는 Windows에서의 느린 프롬프트 처리가 포함됩니다. CUDA, Metal, ROCm 백엔드가 없고, macOS나 ARM 빌드가 없으며, IQ2와 IQ1 GGUF 유형을 지원하지 않습니다. 기준 노트북에서 32,000토큰 프롬프트에 15분이 걸렸습니다.
좋은 점
- 48 GB mixture-of-experts 모델을 32 GB 머신에서 실행하며, 외부 테스터가 확인함
- 의존성 없는 순수 C, Linux와 Windows 릴리스 빌드
- 머신별로 스레드, GPU, NPU 분담을 스스로 측정
- OpenAI 방식 서버, MCP 서버, C 라이브러리 포함
아쉬운 점
- llama.cpp 대비 대표 격차는 노트북 한 대에서의 자체 보고
- 메인테이너가 한 명이며 아직 외부 코드를 병합할 수 없음
- Vulkan 전용이며 여러 GPU에서 잘못된 출력 버그
- macOS와 ARM 미지원, 실험 단계로 명령이 매주 바뀜
추천 대상
32 GB 노트북에서 Qwen3-Next-80B처럼 RAM보다 큰 mixture-of-experts 모델을 원하고 실험적인 소프트웨어를 받아들일 수 있는 x86-64 사용자.
Janas 대안
Janas: 자주 묻는 질문
- Janas, 쓸 만한 가치가 있습니까?
- 32 GB 노트북에서 80B 모델을 실제로 돌리지만, llama.cpp에 대한 큰 격차는 제작자 자신의 수치이고 전체가 한 사람의 실험입니다. 평점은 5점 만점에 3.6점입니다.
- Janas의 가격은 얼마입니까?
- GPL-3.0 이상 라이선스의 무료 오픈소스입니다. 유료 에디션은 없습니다.
- Janas의 단점은 무엇입니까?
- llama.cpp 대비 대표 격차는 노트북 한 대에서의 자체 보고; 메인테이너가 한 명이며 아직 외부 코드를 병합할 수 없음; Vulkan 전용이며 여러 GPU에서 잘못된 출력 버그; macOS와 ARM 미지원, 실험 단계로 명령이 매주 바뀜.
- Janas에 적합한 사람은 누구입니까?
- 32 GB 노트북에서 Qwen3-Next-80B처럼 RAM보다 큰 mixture-of-experts 모델을 원하고 실험적인 소프트웨어를 받아들일 수 있는 x86-64 사용자.
- 팀이나 프로덕션 환경에서 Janas의 비용은 얼마입니까?
- 유료 에디션이 없으므로 비용은 하드웨어입니다. 기준 머신은 약 5.7 GB/s로 읽는 NVMe SSD를 갖춘 32 GB 노트북이며, 더 느린 디스크나 바쁜 머신에서는 속도가 떨어집니다. 서버가 단일 시퀀스 설계이므로 여러 사용자로 확장하려면 동시 사용자 한 명당 머신 한 대가 필요합니다.
- Janas에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행되며 ~/.cache/janas와 변환한 모델을 둔 곳에만 씁니다. 텔레메트리에 대한 설명은 없습니다. 서버는 기본으로 API 키 없이 127.0.0.1에 바인딩됩니다. 코드는 GPL-3.0 이상이고, 변환된 모델은 각자의 라이선스를 유지합니다(Qwen의 Apache 2.0, Qwen3.8-Flash-Next의 Qwen Community License, DeepNSM의 비상업용 CC BY-NC-SA).
- Janas의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Ollama 및 llamafile입니다.
답변 확인일: 2026년 10월 31일.