Magnitude의 개요
Magnitude는 오픈 모델을 사용자의 컴퓨터에서 실행하고 이미 쓰고 있는 코딩 에이전트에 연결합니다. 모델을 내려받으면 최대 1분 동안 사용자의 칩에서 작업을 GPU 스레드에 나누는 여러 방법을 시험하고, 출력을 바꾸지 않는 가장 빠른 조합을 남깁니다. 지원 모델마다 추측 디코딩용 드래프터(MTP, DFlash, DSpark, LiLiCorr)가 함께 제공되며, 세션끼리 프리픽스 캐시를 공유합니다.
엔진은 Magnitude 자체 컴파일러이자 런타임인 Seismic 위에 Rust로 작성됐고, CPU, Apple Metal, NVIDIA CUDA(Ampere 이후), Vulkan을 대상으로 합니다. ROCm 백엔드는 없습니다. macOS, Windows, Linux용 데스크톱 앱과 CLI로 배포되고, 포트 10100에서 OpenAI 및 Anthropic 호환 API를 제공하며, Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline을 클릭 한 번으로 설정합니다.
저장소는 2026년 6월 12일 Magnitude AI Inc.가 만들었고, Apache-2.0 라이선스입니다. 2026년 10월 28일 CLI 0.2.13을 냈는데, 사흘 만에 세 번째 릴리스였습니다.
Magnitude, 쓸 만한 가치가 있습니까?
Magnitude는 비교 대상 엔진보다 빠를 수 있지만, 그 차이는 기기에 크게 좌우되고 대표 수치는 모두 업체의 자체 측정입니다. 2026년 10월 초 Y Combinator S25 배치의 Launch HN에서 창업자들은 llama.cpp보다 최대 두 배 빠르다고 주장했습니다. 근거는 64K 토큰 프롬프트에 4비트로 돌린 Qwen 3.6 35B A3B였습니다. M4 Pro Mac에서 디코드는 초당 30토큰에서 57토큰으로 올랐지만(92%), DGX Spark에서는 49에서 58로만 올랐고(19%), 프리필은 9%와 23% 개선됐습니다. 조건이 같은 비교도 아니었습니다. 창업자들은 llama.cpp의 압축 캐시가 디코드를 느리게 해서 16비트 KV 캐시로 돌렸고, Magnitude는 자체 압축 캐시를 썼다고 말했습니다.
벤치마크 페이지는 이제 Ollama v0.35.1과 비교합니다. 48 GB M4 Pro Mac mini와 DGX Spark에서 모델 11개를 돌린 결과 평균 디코드는 2.19배와 2.17배 빨랐고, 프리필은 약 1.3배였습니다. 편차는 큽니다. Spark에서 Qwen 3.5 4B 디코드는 4.84배 빨랐지만, Nemotron 3.5에서는 0.76배로 오히려 느렸습니다. 페이지는 Gemma 모델 세 개에서 Ollama의 약한 드래프팅이 이득을 부풀린다는 점과 답변 품질은 평가하지 않았다는 점을 경고합니다. Hacker News 스레드의 사용자들은 반대 결과를 올렸습니다. M5 Max에서 한 사용자는 llama.cpp가 Magnitude 0.2.1보다 약 두 배 빠르다고 했고, 다른 사용자는 rapid-mlx가 초당 175토큰, Magnitude가 161토큰이라고 측정했으며, RTX 5070 Ti에서는 llama.cpp의 디코드가 20%에서 30% 더 빨랐습니다. 창업자들은 커널이 아직 Metal 4의 행렬 하드웨어를 쓰지 않아 M5 Mac이 알려진 약점이라고 말했습니다.
로컬 기본값은 합리적입니다. API는 127.0.0.1:10100에서 대기하며 같은 기기에서는 키가 필요 없습니다. 네트워크 접근을 켜려면 생성된 키가 필요하고, 다섯 번 틀리면 추측 속도를 늦추지만 여전히 평문 HTTP를 쓰므로 문서는 Tailscale, SSH, HTTPS 프록시를 권합니다. 저희가 코드를 읽은 바로는 OpenTelemetry 트레이스는 127.0.0.1의 수집기로 갑니다. Claude Code 연결은 ~/.claude/settings.json을 고쳐 호스팅 Claude 요청을 포함한 모든 요청을 Magnitude의 로컬 게이트웨이로 보냅니다. 게이트웨이를 계속 켜 두어야 하고, 나중에 직접 되돌려야 합니다.
Ollama와 llama.cpp에 못 미치 는 부분은 지원 범위입니다. CUDA 빌드는 Ampere 이전 카드를 건너뛰고, AMD와 Intel GPU는 Vulkan으로만 쓰며, 속도는 Magnitude가 지원하기로 고른 인기 모델 계열용 수작업 커널에 달려 있습니다. 코드는 거의 전부 개발자 두 명이 작성했고, 모델 평가 단계에서 멈추는 설치와 Ubuntu 외 Linux에서의 실패를 포함해 이슈 30개가 열려 있습니다.
제 역할을 하는 곳
OpenCode를 쓰는 48 GB Apple 실리콘 Mac 사용 개발자
같은 모델에서 Ollama보다 빠른 로컬 완성 결과 얻기
앱을 설치하고 Discover의 Balanced 추천을 고른 뒤 OpenCode용 Connect를 누릅니다. 업체의 M4 Pro 테스트에서 디코드는 평균 Ollama의 2.19배였습니다. Mac에서 Gemma 결과 세 개는 Ollama의 약한 드래프팅 때문에 부풀려졌으므로 Usage에서 자신의 모델을 확인하십시오.
RTX 4090 워크스테이션 한 대를 가진 3인 스튜디오
사무실의 모든 노트북과 로컬 모델 하나를 공유하기
`magnitude server setup`을 실행해 부팅 시 시작되고 스스로 업데이트되게 한 뒤, 네트워크 접근을 켜고 노트북마다 API 키를 줍니다. 연결은 평문 HTTP이므로 Tailscale에 올리거나 HTTPS 프록시 뒤에 두십시오. 원격으로는 추론만 쓸 수 있습니다.
오프라인 대비책을 원하는 Claude Code 팀의 엔지니어
요금제 한도가 소진됐을 때 로컬 모델로 Claude Code 실행하기
Magnitude에서 Claude Code를 연결하고 `claude --model anthropic-local/<id>`로 시작합니다. 이 연결은 ~/.claude/settings.json을 고치고 호스팅 요청도 로컬 게이트웨이로 보내므로, Claude Code를 단독으로 다시 쓰기 전에 연결을 끊고 재시작해야 합니다.
도입 전 확인할 점
- 설정
- `curl -fsSL https://magnitude.dev/install.sh | sh`, 이에 해당하는 PowerShell 명령, 또는 .dmg, .exe, .deb, .rpm, pacman 설치 파일을 씁니다. 모델을 내려받을 때마다 첫 사용 전에 최대 1분의 커널 튜닝이 더해집니다.
- 연동
- 127.0.0.1:10100/inference/v1의 OpenAI 호환 API와 /inference/anthropic의 Anthropic 호환 API. Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline을 클릭 한 번으로 설정. 백엔드는 CPU, Metal, CUDA(Ampere 이후), Vulkan입니다.
- 데이터와 개인정보
- 문서에 따르면 프롬프트와 모델은 로컬에 머뭅니다. 모델은 ~/.magnitude/models에 저장되고, 저희가 코드를 읽은 바로는 OpenTelemetry 트레이스가 127.0.0.1의 수집기로 갑니다. 같은 기기에서는 키가 필요 없고, 네트워크 접 근에는 키가 필요하며 평문 HTTP입니다. Apache-2.0이며 모델마다 각자의 라이선스를 따릅니다.
- 대규모 사용 시 비용
- 유료 에디션이 문서화돼 있지 않으므로 비용은 하드웨어입니다. 업체 벤치마크는 M4 Pro를 단 48 GB Mac mini와 128 GB DGX Spark를 썼습니다. 서버 모드는 동시 접속이 많은 서빙보다 공유 워크스테이션 한 대에 맞습니다.
- 제한
- 모델 평가 멈춤(#142)과 Ubuntu 외 Linux 설치(#22)를 포함해 열린 이슈 30개. 사흘에 CLI 릴리스 세 번. ROCm 없음, Ampere 이전 CUDA 없음. 속도는 지원하는 모델 계열용으로 작성한 커널에 달려 있음.
좋은 점
- 기기별 커널 튜닝과 지원 모델마다 제공되는 드래프터
- 오픈소스 벤치마크 하네스와 모델별 결과
- 기본은 localhost 전용이며 네트워크 접근에는 키 필요
- Claude Code, Codex, OpenCode, Cline 등을 클릭 한 번으로 설정
아쉬운 점
- 속도 주장은 자체 보고이며, 사용자들은 M5 Max와 RTX 5070 Ti에서 llama.cpp나 MLX가 더 빠르다고 확인
- DGX Spark의 Nemotron 3.5 디코드처럼 일부 모델에서는 Ollama보다 느림
- ROCm 없음, CUDA 빌드는 Ampere 이후 카드 필요
- Claude Code 연동이 모든 요청을 자체 게이트웨이로 보냄
추천 대상
적은 설정으로 코딩 에이전트 뒤에 빠른 로컬 모델을 두고 싶은 Apple 실리콘이나 최신 NVIDIA 카드 사용 개발자.
Magnitude 대안
Magnitude: 자주 묻는 질문
- Magnitude, 쓸 만한 가치가 있습니까?
- 영리한 아이디어이고 일부 기기에서는 실제로 빠릅니다. 하지만 2x라는 대표 수치는 회사의 자체 측정이며 모든 사용자의 하드웨어에서 재현되지는 않았습니다. 평점은 5점 만점에 3.6점입니다.
- Magnitude의 가격은 얼마입니까?
- Apache-2.0의 무료 오픈소스입니다. 유료 에디션은 문서화돼 있지 않으며, 모델 라이선스는 별개입니다.
- Magnitude의 단점은 무엇입니까?
- 속도 주장은 자체 보고이며, 사용자들은 M5 Max와 RTX 5070 Ti에서 llama.cpp나 MLX가 더 빠르다고 확인; DGX Spark의 Nemotron 3.5 디코드처럼 일부 모델에서는 Ollama보다 느림; ROCm 없음, CUDA 빌드는 Ampere 이후 카 드 필요; Claude Code 연동이 모든 요청을 자체 게이트웨이로 보냄.
- Magnitude에 적합한 사람은 누구입니까?
- 적은 설정으로 코딩 에이전트 뒤에 빠른 로컬 모델을 두고 싶은 Apple 실리콘이나 최신 NVIDIA 카드 사용 개발자.
- 팀이나 프로덕션 환경에서 Magnitude의 비용은 얼마입니까?
- 유료 에디션이 문서화돼 있지 않으므로 비용은 하드웨어입니다. 업체 벤치마크는 M4 Pro를 단 48 GB Mac mini와 128 GB DGX Spark를 썼습니다. 서버 모드는 동시 접속이 많은 서빙보다 공유 워크스테이션 한 대에 맞습니다.
- Magnitude에 회사 데이터를 맡겨도 안전합니까?
- 문서에 따르면 프롬프트와 모델은 로컬에 머뭅니다. 모델은 ~/.magnitude/models에 저장되고, 저희가 코드를 읽은 바로는 OpenTelemetry 트레이스가 127.0.0.1의 수집기로 갑니다. 같은 기기에서는 키가 필요 없고, 네트워크 접근에는 키가 필요하며 평문 HTTP입니다. Apache-2.0이며 모델마다 각자의 라이선스를 따릅니다.
- Magnitude의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Ollama, llama.cpp, MLX 및 Jan입니다.
답변 확인일: 2026년 10월 28일.