크고 유능한 모델을 내 노트북에서 돌리려면 그동안 작은 모델로 만족하거나 아주 비싼 기기를 써야 했습니다. 우리가 35B 휴대폰용 모델을 리뷰한 Edge0가 이번에는 사양이 충분한 노트북에서 실측 최대 메모리 29GB로 돌아가는 1,450억 매개변수 모델을 내놓고 가중치와 추론 코드를 공개했습니다. 수치가 맞는다면 본격적인 로컬 코딩 에이전트를 많은 개발자가 이미 가진 하드웨어에서 돌릴 수 있게 됩니다.
설계가 이 메모리 수치를 설명합니다. Edge0-145B는 전문가 혼합 모델로, 전문가 64개로 된 각 그룹이 큰 행렬 두 개를 공유하고 각 전문가는 자기만의 작은 매개변수 집합만 갖습니다. 단계마다 활성화되는 매개변수는 약 10B입니다. 엔진은 모델을 세 계층에 나눠 둡니다. 자주 쓰는 전문가는 GPU 메모리에, 약 40GB의 전문가 라이브러리는 시스템 메모리에, 약 48GB의 어휘 데이터는 SSD에 두고 필요할 때 읽습니다. CPU와 GPU가 병렬로 일하고, 추측 디코딩으로 후보 토큰 여러 개를 한 번에 검증합니다. Edge0는 초당 80토큰 이상을 보고합니다.
벤치마크 주장은 강합니다. Edge0는 DeepSWE 1.1에서 64.6, Terminal-Bench 2.1에서 86.52, GPQA-Diamond에서 90.4, IFBench에서 80.6을 기록했고, 여섯 개 벤치마크 평균은 72.8로 Qwen3.8-Flash-Next의 71.7보다 높다고 밝혔습니다. Qwen3.8-Flash-Next의 표준 4비트 배포는 70GB로 추정해, Edge0는 그 메모리의 약 40%에 해당하며 48GB 노트북이 실질적인 최소 사양이 됩니다. 첫날부터 macOS, Windows, Linux를 지원하며 Apple M 시리즈 칩과 NVIDIA RTX 카드도 포함됩니다.
llama.cpp, Ollama, LM Studio로 로컬 모델을 돌리는 사람에게 흥미로운 것은 매개변수 수보다 스트리밍 설계입니다. 전문가 대부분을 GPU 밖에 두고 어휘를 SSD에서 읽는 방식은 양자화를 더 강하게 하는 것과는 다른 절충이며, 빠른 저장장치가 필요합니다. Edge0는 결과를 재현할 수 있도록 전체 스택을 공개했다고도 말합니다.
의문은 큽니다. Qwen, DeepSeek, Claude의 결과는 Edge0 내부 평가에서 나왔고, 경쟁 모델의 메모리 수치는 아직 측정하지 않은 추정치이며, 전체 설정을 담은 기술 보고서도 아직 나오지 않았습니다. 속도와 메모리 수치는 사양이 밝혀지지 않은 노트북에서 Edge0가 직접 시험한 결과입니다. 35B 버전에 대한 우리 리뷰는 설계가 꼼꼼하지만 속도 수치 거의 전부가 개발사 자료라는 점을 짚었고, 독립적인 측정이 나올 때까지 이번에도 같은 신중함이 필요합니다.