colibri의 개요
colibri는 메모리에 다 담을 수 없는 기기에서 매우 큰 오픈 mixture-of-experts(MoE) 모델을 실행합니다. MoE 모델은 토큰마다 일부 "expert"만 쓰기 때문에, colibri는 항상 쓰이는 부분을 RAM에 두고 모델이 요청할 때 expert를 디스크에서 읽어 옵니다. 모델 계열마다 파일 하나씩 C로 작성되었고, GPU가 필요 없으며, 그래픽 카드가 있으면 CUDA나 Vulkan을 씁니다. 최소 사양은 가장 작은 모델 기준 RAM 8 GB, 디스크 22 GB입니다.
현재 13개 엔진이 동작하며, GLM-5.2와 5.3, Kimi K3, DeepSeek V4와 V4.1 Flash, Qwen3.6, Qwen3.8-Flash-Next, 이미지 모델 Qwen-Image-2.1이 포함됩니다. OpenAI 및 Anthropic 호환 API와 웹 대시보드를 제공합니다.
System One 모드도 있습니다. POST /v1/systemone은 TypeSafe Jev의 요청을 받아 Jev의 응답 형식으로 돌려줍니다. 실행 중인 어떤 채팅 모델이든 허용된 선택지에 점수를 매겨 답할 수 있고, Laya, GLiNER2.5-Decide, Cloudflare의 Clef 세 결정 모델은 네이티브로 돌아갑니다. 예전의 /v1/brio 경로는 버전 1.12.1 이후 이 엔드포인트로 통합되었습니다. Vincenzo Fornaro가 Apache 2.0으로 관리합니다.
colibri, 쓸 만한 가치가 있습니까?
colibri는 llama.cpp와 Ollama가 목표로 삼지 않는 일을 합니다. 디스크를 메모리의 일부로 다뤄 수천억 파라미터 모델을 데스크톱에서 돌리는 것입니다. 자체 수치는 그 대가를 정직하게 보여 줍니다. 744B 모델인 GLM-5.2는 프로젝트가 시작된 25 GB 노트북에서 콜드 상태로 초당 0.05~0.1 토큰, 128 GB Ryzen AI Max+ 395에서 1.83 토큰, RTX 5090 여섯 장에서 9.0~9.2 토큰을 디코딩합니다. 더 작은 MoE 모델은 쓸 만합니다. Qwen3.6-35B-A3B는 CPU에서 초당 6.0 토큰, CUDA로 30.0 토큰에 이릅니다.
프로젝트는 인기가 많고 활발해서, 2026년 7월 이후 GitHub 스타가 약 43,500개입니다. 2026년 10월 6일의 버전 2.0.0에는 풀 리퀘스트 169개가 묶였고 그중 88개가 외부 기여자의 것이었으며, 모든 엔진에 Vulkan을 추가하고 동시 대화를 최대 16개까지 늘렸습니다. README는 빈틈을 이례적으로 솔직하게 밝힙니다. 메인테이너들은 외장 GPU에서 Vulkan 속도를 직접 재 보지 않았다고 말하며, 첫 수치인 Tesla V100에서 Qwen3.6 초당 17~19 토큰은 사용자에게서 나왔습니다.
매우 큰 모델 파일을 C로 파싱하므로 보안 기록은 주의 깊게 볼 만합니다. 2026년 8월 5일 프로젝트는 보안 권고 여덟 건을 공개했고 그중 여섯 건이 높음 등급이었습니다. 조작된 safetensors와 설정 파일로 인한 힙 및 스택 오버플로, KV 캐시 너머에 쓰던 음수 max_tok, 인증 없는 /profile 엔드포인트를 다뤘습니다. 서버는 기본적으로 localhost에 바인딩되고 COLI_API_KEY가 설정된 경우에만 키를 요구하므로, 기기 한 대를 넘어서 쓰려면 이 변수가 필요하고 모델 파일은 믿을 수 있는 출처에서 받아야 합니다.
System One 게이트웨이는 세심한 부가 기능입니다. Jev 클라이언트는 base URL만 바꾸면 전환되며, 문서에 따르면 TypeSafe의 공식 SDK 두 개를 수정 없이 테스트했습니다. 확률은 Jev가 아니라 사용자의 모델이 낸 것이므로 일치하지 않습니다. CPU에서 Laya는 219 ms, GLiNER2.5-Decide는 294 ms에 답하지만, Clef는 int8에서 요청당 20.4초가 걸리므로 27B 결정 모델에는 여전히 GPU가 필요합니다.
실제 GPU에서 여러 사용자에게 서비스하는 데는 여전히 vLLM과 SGLang이 맞는 도 구입니다. KV 슬롯 16개는 가정이나 작은 팀에 맞지 제품용은 아닙니다. 더 공정한 비교 대상은 llama.cpp로, 작은 모델은 RAM에서 돌리지만 429 GB 체크포인트를 NVMe 드라이브에서 스트리밍하려 하지는 않습니다.
제 역할을 하는 곳
128 GB Ryzen AI Max+ 395 워크스테이션을 가진 연구자
오프라인 실험용으로 GLM-5.2(744B)를 로컬에서 실행하기
429 GB int4 체크포인트를 NVMe에 내려받고 coli chat을 실행합니다. 프로젝트는 이 기기에서 웜 상태로 초당 1.83 토큰을 측정했습니다. API 요금은 없지만 긴 답변에는 몇 분이 걸리므로 대화형 코딩보다는 일괄 질문에 맞습니다.
내장 Radeon 780M이 달린 32 GB 데스크톱을 쓰는 개발자
Claude Code나 OpenAI 호환 편집기를 로컬 모델에 연결하기
Qwen3.6-35B-A3B(23 GB 다운로드)는 RAM에서 CPU로 초당 6.0 토큰, 내장 GPU의 Vulkan으로 9.9 토큰을 냅니다. ANTHROPIC_BASE_URL을 로컬 서버로 설정하면 아무것도 기기 밖으로 나가지 않습니다.
API 용량을 사기 전에 Jev 기반 티켓 분류를 시제품으로 만드는 제품 팀
결정 프롬프트를 오프라인으로 테스트하기
/v1/systemone 뒤에서 Laya(RAM 1.7 GB, i7 노트북에서 질문당 219 ms)를 돌리고 TYPESAFE_BASE_URL만 바꿉니다. 확률이 호스팅 Jev와 다르므로 다시 전환하기 전에 임계값을 재보정해야 합니다.
도입 전 확인할 점
- 설정
- Linux나 macOS에서는 ./start-here.sh, Windows에서는 START-HERE.bat을 실행합니다. RAM, 디스크, GPU를 확인하고 모델을 추천하며, 엔진을 빌드하거나 내려받고 중단된 다운로드를 이어받습니다. 최소 사양은 RAM 8 GB와 디스크 22 GB이며, 큰 모델에는 수백 GB의 NVMe가 필요합니다.
- 연동
- OpenAI 호환 /v1/chat/completions, Anthropic 호환 /v1/messages, Qwen-Image-2.1용 /v1/images/generations, Jev 방식 결정용 /v1/systemone, 웹 대시보드, 설정 작업용 MCP 서버(coli mcp)를 제공합니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. README는 원격 텔레메트리를 언급하지 않으며, 로컬 라우팅 기록 파일(.coli_usage)만 있습니다. localhost에 바인딩되고 COLI_API_KEY가 있을 때만 키를 요구합니다. 2026년 8월 보안 권고는 조작된 모델 파일과 인증 없는 /profile 엔드포인트를 다뤘습니다. Qwen-Image-2.1 가중치는 비상업용입니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이고 비용은 하드웨어에서 나옵니다. GLM-5.2는 모든 expert를 RTX 5090 여섯 장에 상주시켜 초당 9.0~9.2 토큰을 디코딩하며, Kimi K3는 1.56 TB 다운로드에 토큰당 약 9.4초입니다. 처리량은 디스크 속도가 결정하며, 두 번째 NVMe 드라이브로 디코딩이 +37.5% 빨라졌습니다.
- 제한
- 가장 큰 모델은 초당 1 미만에서 한 자릿수 토큰으로 돕니다. 동시 대화는 최대 16개이고, Vulkan 출력이 CPU 출력과 한 단어쯤 어긋날 수 있습니다. 열린 이슈와 풀 리퀘스트 141개 중 상당수가 GPU 감지와 Windows CUDA 빌드에 관한 것입니다.
좋은 점
- expert 스트리밍으로 RAM 16~24 GB에서 744B급 MoE 모델 실행
- 순수 C, GPU 불필요, 있으면 CUDA, Vulkan, Metal 사용
- 네이티브 Laya, GLiNER, Clef를 갖춘 Jev 호환 /v1/systemone 엔드포인트
- 다운로드를 이어받는 원스텝 설정, 2026년 10월 v2.0.0
아쉬운 점
- 가장 큰 모델에서는 초당 한 자릿수 또는 1 미만 토큰
- 2026년 8월 5일 보안 권고 여덟 건, 그중 여섯 건 높음
- COLI_API_KEY를 설정하지 않으면 API 키를 요구하지 않음
- 처리량이 디스크 속도에 크게 좌우됨
추천 대상
최전선 규모의 오픈 MoE 모델을 자기 기기에서 돌리거나 Jev 방식 결정을 시제품으로 만들어 보려는 애호가와 개발자.
colibri 대안
colibri: 자주 묻는 질문
- colibri, 쓸 만한 가치가 있습니까?
- 744B 파라미터 오픈 모델을 데스크톱에서, 느리게나마 돌리게 해 주는 디스크 스트리밍 C 엔진입니다. 덤으로 Jev 결정 API를 정직하게 대신하는 로컬 엔드포인트도 있습니다. 평점은 5점 만점에 4.2점입니다.
- colibri의 가격은 얼마입니까?
- 무료 오픈소스(Apache 2.0)입니다. 각 모델은 고유한 라이선스를 따릅니다.
- colibri의 단점은 무엇입니까?
- 가장 큰 모델에서는 초당 한 자릿수 또는 1 미만 토큰; 2026년 8월 5일 보안 권고 여덟 건, 그중 여섯 건 높음; COLI_API_KEY를 설정하지 않으면 API 키를 요구하지 않음; 처리량이 디스크 속도에 크게 좌우됨.
- colibri에 적합한 사람은 누구입니까?
- 최전선 규모의 오픈 MoE 모델을 자기 기기에서 돌리거나 Jev 방식 결정을 시제품으로 만들어 보려는 애호가와 개발자.
- 팀이나 프로덕션 환경에서 colibri의 비용은 얼마입니까?
- 소프트웨어는 무료이고 비용은 하드웨어에서 나옵니다. GLM-5.2는 모든 expert를 RTX 5090 여섯 장에 상주시켜 초당 9.0~9.2 토큰을 디코딩하며, Kimi K3는 1.56 TB 다운로드에 토큰당 약 9.4초입니다. 처리량은 디스크 속도가 결정하며, 두 번째 NVMe 드라이브로 디코딩이 +37.5% 빨라졌습니다.
- colibri에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. README는 원격 텔레메트리를 언급하지 않으며, 로컬 라우팅 기록 파일(.coli_usage)만 있습니다. localhost에 바인딩되고 COLI_API_KEY가 있을 때만 키를 요구합니다. 2026년 8월 보안 권고는 조작된 모델 파일과 인증 없는 /profile 엔드포인트를 다뤘습니다. Qwen-Image-2.1 가중치는 비상업용입니다.
- colibri의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Ollama, vLLM, SGLang 및 Laya입니다.
답변 확인일: 2026년 10월 23일.
colibri 개발사입니까? 이 평점을 사이트에 표시하십시오
