edge0의 개요
Edge0라는 회사가 만든 edge0는 mixture-of-experts 언어 모델용 추론 프레임워크로, 전문가(expert) 가중치를 SSD에 두고 토큰마다 필요할 때 읽어 들입니다. 이를 쓸 만한 속도로 만드는 추가 요소가 두 가지 있습니다. 하나는 prerouter로, 레이어마다 있는 작은 학습 네트워크가 다음 레이어의 전문가를 한 토큰 앞서 예측해 읽기와 연산이 겹치게 합니다. 다른 하나는 Recover-LoRA로, 전체 정밀도 모델에서 증류한 어댑터가 4비트 양자화로 잃은 품질을 대부분 되찾습니다.
회사 자체의 체크포인트 두 개를 실행합니다. Edge0-35B-A3B-preview(Qwen3.6-35B-A3B 기반)와 Edge0-8B-A1B-preview(inclusionAI의 Ling 3.0 tiny 기반)이며, Hugging Face와 ModelScope에 가중치와 어댑터가 함께 공개되어 있습니다. Python 패키지와 OpenAI 호환 서버는 Apple Silicon Mac에서만 실행됩니다. 별도의 네이티브 엔진이 macOS 앱, iPhone 앱, Android 앱, Windows 앱을 구동하며, 뒤의 둘은 패치한 llama.cpp를 씁니다. 모든 플랫폼을 아우르는 통합 프레임워크는 2026년 Q4로 약속되어 있고, 기술 보고서는 arXiv 2609.18063입니다.
저장소는 2026년 9월 8일에 만들어졌고, GitHub 스타 약 8,800개와 포크 1,370개가 있으며, Apache 2.0 라이선스입니다. 릴리스 v0.1.0(10월 21일)은 macOS 앱, Android APK, 서명되지 않은 iPhone IPA를 제공하며, v0.1.1(10월 29일)은 Android만 갱신합니다.
edge0, 쓸 만한 가치가 있습니까?
edge0는 SSD 스트리밍 아이디어를 기술 보고서, 벤치마크별 품질 수치, 네이티브 앱 네 개로 뒷받침하며, 스타 수가 시사하는 것보다 범위가 좁습니다. 실행하는 체크포인트는 두 개이고, 둘 다 프리뷰이며, 둘 다 같은 팀이 학습했습니다. 저장소의 한 줄 설명은 약 2.5 GB RAM으로 35B 모델을 돌린다고 약속합니다. 측정값은 2.9 GiB이고, 이는 프로세스가 차지하는 양이 아니라 MLX 할당기의 최고치입니다. 16 GB MacBook M2에서 논문은 prerouter를 켰을 때 프로세스 메모리가 4.91~6.39 GiB라고 보고하며, 나머지는 운영체제가 회수할 수 있는 전문가 페이지입니다. 외부 기여자가 이 차이를 지적한 뒤 README는 해당 열의 이름을 바꿨습니다.
속도 수치는 거의 모두 팀의 자체 측정입니다. 24 GB 기준 Mac mini M4 Pro에서 README는 35B가 14.9-17.7 tok/s, 8B가 23.9-25.3이라고 제시합니다. 논문은 더 빠른 구성으로 20.4 tok/s를 보고하며, 이를 19.5 GB 가중치 전체를 메모리에 올린 일반 mlx-lm 서버의 3.9와 비교합니다. 그 머신에서 일반 서버는 여유 메모리가 부족해 페이징이 일어납니다. prerouter는 가중치가 메모리에 다 들어가지 않을 때 가장 중요합니다. 16 GB M2에서 논문은 공개된 라우팅 폭 기준 3.5 tok/s가 6.4로 오른다고 측정했지만, 24 GB 머신에서는 끄더라도 19.9 대 20.4로 손해가 작습니다. 따라서 README의 "up to +59%"는 빠듯한 메모리와 느린 저장 장치에 달려 있습니다. 플랫폼별 README는 MacBook Air M3에서 10-12 tok/s, iPhone 16 Pro에서 6.4 tok/s, 16 GB Snapdragon 8 Elite 태블릿에서 6-9 tok/s를 더하며, 태블릿에서는 새 주제의 첫 턴에 전문가를 플래시에서 읽어 오느라 10-15초를 기다립니다. 외부 근거는 빈약합니다. 커뮤니티 게시물 하나는 M4 Pro에서 8B가 14.55와 27.17 tok/s라고 하고, 16 GB M1 Pro에서 첫 토큰 전 10.8초 대기가 있다는 보고가 수정으로 이어졌으며, 독립적인 35B 측정은 찾지 못했습니다.
품질은 측정되어 있습니다. 로컬 추론 프로젝트에서 드문 일이지만, 팀이 자체 OpenCompass 실행으로 잰 것입니다. 다섯 개 벤치마크에서 int4 35B는 평균 79.2로 fp16 Qwen3.6 기반의 83.2와 비교되며, 8B는 69.9 대 72.7입니다. 손실은 긴 추론에 몰려 있습니다. AIME 2026은 35B에서 6.1점, 8B에서 10.0점 떨어지고, 8B의 MMLU-Pro는 기반 모델보다 4.3점 높게 나옵니다. 모델 카드는 이 프리뷰에서 도구 사용과 다단계 에이전트 작업이 "currently weak"하다고 밝히며, Papers with Code에서 점수를 검증해 달라는 Hugging Face 요청은 아직 열려 있습니다.
SSD 부하는 읽기이고 대역폭도 크지 않습니다. 공개된 폭에서 논문의 16 GB M2는 디코드 단계마다 50.9~58.9 MiB를 옮겼고, 디스크는 각 단계의 최대 12%만 바빴으므로 비용은 마모가 아니라 대기입니다. 약점은 프롬프트 읽기입니다. 8B의 기본값은 한때 요청마다 전문가 4.06 GiB를 다시 읽었고, --prefill-ondemand 스위치가 추가된 뒤에야 바뀌었습니다. 엔진은 한 번에 요청 하나만 처리하고, Android는 35B에 12 GB 이상이 필요하며, 8 GB 휴대폰에서 8B는 1.14 tok/s로 떨어졌습니다. 배포는 개발자 수준입니다. iPhone IPA는 서명되지 않아 자신의 Apple ID로 다시 서명해야 하고(무료 ID로는 약 7일), APK는 Google Play에 없으며, macOS 앱은 ad-hoc 서명이라 격리 플래그를 지우기 전까지 Gatekeeper에 막히고, Windows는 바이너리 릴리스가 없습니다. Windows에서 35B의 27.7 tok/s는 가중치가 RAM에 올라가는 48 GB 머신에서 나온 것이며, 팀 자체 비교에서도 패치 성능은 기본 llama.cpp와 같은 수준입니다.
가장 가까운 경쟁자인 Janas와는 겹치는 부분이 거의 없습니다. Janas는 x86-64 Linux와 Windows에서 GGUF로 변환한 Qwen, Gemma, Llama 계열을 실행하며, 아직 외부 코드를 병합하지 못하는 저자 한 명이 작성합니다. edge0는 Apple Silicon과 휴대폰에서 모델 두 개를 실행하고, 기여자 14명이 있으며, 도구 호출을 포함한 외부 풀 리퀘스트가 병합되었습니다. 어느 쪽도 상대의 하드웨어에서 측정된 적이 없고, 둘 다 주로 자체 수치를 공개합니다. Edge0 뒤에 누가 있는지는 코드보다 덜 분명합니다. 2026년 7월에 만들어진 GitHub 조직은 위치를 미국으로 적고, 논문 저자 다섯 명의 이름이 나와 있으며, 웹사이트는 이어버드, 안경, 장난감, 로봇용 온디바이스 모델을 판매하지만, 저희가 확인했을 때 About 페이지는 404를 반환했습니다. 스타 약 8,800개 대비 포크 1,370개는 Janas의 548개 대비 44개보다 높은 비율이지만, 숫자만으로는 그 이유를 알 수 없습니다.
제 역할을 하는 곳
24 GB Mac mini M4 Pro를 쓰는 개발자
로컬에서 35B급 모델을 돌리면서 메모리 대부분을 다른 작업용으로 남겨 두기
python 패키지를 설치하고, 23 GB짜리 Edge0-35B-A3B-preview 체크포인트를 내려받은 뒤 edge0 serve edge0-35b를 실행하면 127.0.0.1:8000에 OpenAI 호환 엔드포인트가 생깁니다. README는 할당기 최고치 2.9 GiB에서 14.9-17.7 tok/s를 보고합니다. 전문가를 SSD에서 읽어 오는 동안 첫 응답이 더 느리고, 요청은 한 번에 하나씩 처리됩니다.
소비자 앱 스타트업의 모바일 엔지니어
iPhone 16 Pro나 16 GB Snapdragon 8 Elite Android 기기에서 오프라인 채팅 시제품 만들기
자신의 번들 ID로 Xcode에서 모델을 포함한 iOS 앱을 빌드하거나(35B는 약 20 GB), 0.1.1 APK를 사이드로드하고 변환한 GGUF를 가져옵니다. 팀은 iPhone에서 35B가 6.4 tok/s, Android 태블릿에서 6-9 tok/s라고 보고합니다. 두 앱 모두 스토어에 없으므로 이것은 제품이 아니라 실현 가능성 시험입니다.
직원 Mac에 사내 비서를 두는 방안을 검토하는 20명 규모 회사의 CTO
edge0 모델 위에 구축해도 안전한지 판단하기
코드와 가중치는 Apache 2.0이고, 기반 모델은 Apache 2.0(Qwen)과 MIT(Ling)이므로 상업적 사용이 가능합니다. 위험은 성숙도입니다. 모델 카드가 도구 사용에 약하다고 밝힌 프리뷰 체크포인트, 2026년 Q4로 예정된 통합 프레임워크, 요청 하나씩만 처리하는 서버입니다. 동시 사용자당 Mac 한 대와, 프레임워크가 나오면 다시 테스트할 시간을 예산에 넣으십시오.
도입 전 확인할 점
- 설정
- M1 이상 Mac의 Python 3.10 이상(3.12 권장)에서 python 폴더를 pip로 설치하고, 체크포인트(35B는 약 23 GB, 8B는 4.2 GB)를 받아 edge0 demo를 실행합니다. macOS 앱은 M3 이상의 macOS 14가 필요하고, Android는 arm64와 Android 13이 필요합니다. Windows는 Visual Studio 2022, Vulkan SDK, Rust, Node로 소스에서 빌드하며, 엔진 빌드에 약 10-20분이 걸립니다.
- 연동
- edge0 serve와 macOS 데몬은 도구 호출을 지원하는 OpenAI 호환 /v1/chat/completions와, transformers 방식 Python API(AutoEngine)를 제공합니다. Android와 Windows 엔진은 b11100에 고정된 llama.cpp에 edge0 패치를 더한 것이며, Windows는 루프백의 llama-server로 서비스합니다.
- 데이터와 개인정보
- Hugging Face나 ModelScope에서 내려받은 뒤 로컬에서 실행됩니다. macOS 앱은 모델, 채팅, 로그를 ~/.edge0에 두고, 서버는 127.0.0.1에 바인딩하며, macOS에서 LAN 접근에는 bearer 토큰이 필요합니다. 텔레메트리는 설명되어 있지 않습니다. 코드와 모델은 Apache 2.0이고, 기반 모델은 Qwen3.6-35B-A3B(Apache 2.0)와 Ling-3.0-tiny-base(MIT)입니다.
- 대규모 사용 시 비용
- 유료 에디션이 없으므로 비용은 하드웨어입니다. 기준 머신은 24 GB Mac mini M4 Pro이고, 논문의 16 GB M2는 35B를 6.4 tok/s로 실행합니다. 엔진은 한 번에 요청 하나만 처리하므로 동시 사용자가 늘면 머신도 늘어야 합니다.
- 제한
- 등록된 것은 Edge0 체크포인트 두 개뿐입니다. 다른 모델 계열에는 어댑터와 자체 학습한 prerouter 헤드 및 LoRA가 필요한데, 저장소에서 학습 코드는 찾지 못했습니다. 아직 CUDA나 Linux 빌드가 없고, 모델 카드에 따르면 에이전트와 도구 사용이 약하며, 2026년 Q4 예정인 통합 프레임워크가 인터페이스를 바꿀 수 있습니다.
좋은 점
- 벤치마크별 품질 손실 공개: 35B는 79.2 대 83.2
- README 기준 24 GB Mac mini에서 35B MoE가 14.9-17.7 tok/s
- macOS, iPhone, Android, Windows 네이티브 앱과 OpenAI 호환 서버
- 코드와 모델 모두 Apache 2.0, 외부 풀 리퀘스트 병합
아쉬운 점
- 자체 프리뷰 체크포인트 두 개만 실행, 다른 모델에 맞출 학습 코드가 저장소에 없음
- Python 프레임워크는 Apple Silicon 전용, CUDA와 Linux는 아직 약속 단계
- 속도 수치가 거의 모두 자체 보고
- 앱은 사이드로드 전용: 서명되지 않은 IPA, Google Play 밖의 APK, ad-hoc 서명 Mac 앱
추천 대상
로컬에서 35B급 모델을 원하는 16~24 GB Apple Silicon 사용자와, 최신 휴대폰에서 온디바이스 채팅을 시험하는 모바일 개발자 중 프리뷰 모델을 받아들일 수 있는 사람.
edge0 대안
edge0: 자주 묻는 질문
- edge0, 쓸 만한 가치가 있습니까?
- 24 GB Mac이나 휴대폰에 35B 모델을 올리는 신중하고 문서화가 잘된 방법이지만, 제작자가 고른 프리뷰 모델 두 개만 실행하며 속도 수치는 거의 모두 자체 측정입니다. 평점은 5점 만점에 3.6점입니다.
- edge0의 가격은 얼마입니까?
- 모델을 포함해 Apache 2.0의 무료 오픈소스입니다. 유료 에디션은 없습니다.
- edge0의 단점은 무엇입니까?
- 자체 프리뷰 체크포인트 두 개만 실행, 다른 모델에 맞출 학습 코드가 저장소에 없음; Python 프레임워크는 Apple Silicon 전용, CUDA와 Linux는 아직 약속 단계; 속도 수치가 거의 모두 자체 보고; 앱은 사이드로드 전용: 서명되지 않은 IPA, Google Play 밖의 APK, ad-hoc 서명 Mac 앱.
- edge0에 적합한 사람은 누구입니까?
- 로컬에서 35B급 모델을 원하는 16~24 GB Apple Silicon 사용자와, 최신 휴대폰에서 온디바이스 채팅을 시험하는 모바일 개발자 중 프리뷰 모델을 받아들일 수 있는 사람.
- 팀이나 프로덕션 환경에서 edge0의 비용은 얼마입니까?
- 유료 에디션이 없으므로 비용은 하드웨어입니다. 기준 머신은 24 GB Mac mini M4 Pro이고, 논문의 16 GB M2는 35B를 6.4 tok/s로 실행합니다. 엔진은 한 번 에 요청 하나만 처리하므로 동시 사용자가 늘면 머신도 늘어야 합니다.
- edge0에 회사 데이터를 맡겨도 안전합니까?
- Hugging Face나 ModelScope에서 내려받은 뒤 로컬에서 실행됩니다. macOS 앱은 모델, 채팅, 로그를 ~/.edge0에 두고, 서버는 127.0.0.1에 바인딩하며, macOS에서 LAN 접근에는 bearer 토큰이 필요합니다. 텔레메트리는 설명되어 있지 않습니다. 코드와 모델은 Apache 2.0이고, 기반 모델은 Qwen3.6-35B-A3B(Apache 2.0)와 Ling-3.0-tiny-base(MIT)입니다.
- edge0의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Janas, llama.cpp, MLX 및 Ollama입니다.
답변 확인일: 2026년 10월 31일.