Locals의 개요
Locals는 Apple silicon Mac용 모델 서버로, Apple의 MLX 위에 만들어졌으며 채팅보다 코딩 에이전트를 겨냥합니다. 127.0.0.1:8321에서 OpenAI, Anthropic Messages, Ollama API에 응답하므로 OpenCode, Claude Code, Cline, Aider, OpenHands, Ollama용으로 만든 앱이 수정 없이 쓸 수 있습니다. 핵심 기법은 배치 처리입니다. 여러 에이전트의 요청을 작은 배치용으로 작성한 GPU 커널로 함께 계산하는데, mlx-lm이 더 빨라지지 않는 바로 그 구간입니다.
도구 호출과 JSON은 GPU에서 적용하는 문법 아래에서 작성되므로, 에이전트는 자신이 제시한 도구만 호출할 수 있고 인수는 스키마에 맞습니다. 대화와 긴 시스템 프롬프트는 캐시되며 재시작 후에도 디스크에 남습니다. locals code ~/my-project 와 locals launch claude 같은 명령은 서버를 띄우고 클라이언트를 한 번에 연결하며, locals run 은 작업 하나를 여러 에이전트에게 나눠 각자 프로젝트의 별도 사본에서 일하게 합니다.
Generated Computers가 만들었고, Python으로 작성되었으며, Apache 2.0으로 공개되었고, uv tool install locals 나 셸 스크립트로 설치합니다. M1 이상과 macOS 14가 필요합니다. 버전 0.2.2는 2026년 11월 4일에 나왔습니다.
Locals, 쓸 만한 가치가 있습니까?
Locals는 Mac용 모델 서버가 잘 다루지 못하는 상황, 즉 여러 에이전트가 동시에 묻는 경우를 겨냥합니다. 16 GB M2 Pro와 기본 모델 Qwen3.5-4B에서 프로젝트는 동시 요청 8건일 때 mlx-lm을 초당 87토큰, Locals를 초당 271토큰으로 측정했습니다. 3.1x 향상이며 LFM2.5-2.6B와 Gemma 4 E4B는 2.8x 향상됩니다. 에이전트 8개일 때 첫 단어가 나오기까지 Ollama는 41.8초, Locals는 1.6초였고, 같은 테스트에서 llama.cpp의 2.1초도 앞섰습니다.
벤치마크에는 칩, 모델, 버전, 명령이 명시되어 있고, README에는 빨라지지 않는 경우를 다룬 절도 있습니다. 재사용할 것이 없는 단일 요청은 mlx-lm과 같은 속도로, 초당 64토큰 대 61토큰입니다. 긴 프롬프트는 GPU의 연산 능력에 묶이 므로 8,000토큰 프롬프트 8개를 동시에 보내면 초당 57토큰입니다. 64개 묶음의 표준 4비트 외의 형식은 이득이 없고, M5 Pro에서는 MLX가 이미 신경망 가속기를 쓰기 때문에 향상이 약 1.5x로 줄어듭니다. M1, M3, M4 칩은 주요 표에 없습니다.
에이전트용 기능은 속도만큼 중요합니다. 문법으로 제한한 도구 호출은 작은 로컬 모델의 흔한 실패, 즉 에이전트를 멈추게 하는 잘못된 형식의 호출을 없앱니다. 프롬프트 캐시 덕분에 138,000토큰 대화의 다음 턴은 2.4초 만에 시작합니다. 기본 모델은 16 GB Mac에서 약 178,000토큰을 다루지만, 170,000토큰을 처음 읽는 데는 약 12분이 걸립니다.
보안 면에서 서버에는 인증이 없으며, 127.0.0.1에서 수신하는 것과 Host 및 Origin 확인에 의존해 브라우저에서 연 웹 페이지가 이를 쓰지 못하게 합니다. 문서에 따르면 다른 주소에서 수신하면 Host 확인이 꺼집니다. locals code 는 OpenCode를 프로젝트 안에서 OpenCode의 평소 권한으로 직접 실행하고, locals disconnect opencode 를 실행할 때까지 Locals를 OpenCode의 기본 모델로 둡니다. locals run 으로 하는 팀 작업은 프로젝트 사본 안으로 제한됩니다.
Ollama나 LM Studio와 비교하면 Locals는 GGUF 파일과 Windows, Linux를 포기하고 Mac에서 동시 부하 시의 속도를 택했습니다. 한 사람이 모델 하나와 채팅한다면 차이는 작습니다. 16 GB MacBook에서 서브에이전트나 작은 에이전트 팀을 돌리는 개발자에게는 이득이 더 크며, 프로젝트는 아직 젊습니다. 2026년 10월 21일 이후 릴리스 세 번, 스타 649개입니다.
제 역할을 하는 곳
16 GB MacBook Pro를 쓰는 프리랜서 개발자
코드를 API로 보내지 않고 고객 프로젝트에서 OpenCode를 쓰고 싶음
uv tool install locals 후 locals code ~/project 를 실행합니다. 처음에는 약 3 GB 모델을 내려받습니다. OpenCode의 서브에이전트가 배치를 공유하는 지점에서 3.1x 향상이 적용되며 토큰당 요금은 없습니다.
이미 Ollama로 Open WebUI와 Raycast를 쓰는 작은 팀
앱을 하나하나 바꾸지 않고 공유 로컬 모델을 빠르게 하고 싶음
Ollama를 종료하고 locals launch --model qwen3.5:4b ollama 를 실행하면 Locals가 Ollama의 포트와 모델 이름으로 응답합니다. 모델은 MLX 형식으로 다시 내려받으며, 되돌리려면 locals stop 후 Ollama를 다시 시작합니다.
지저분한 텍스트를 레코드로 바꾸는 백오피스 개발자
항상 JSON 스키마에 맞는 구조화된 필드를 추출하고 싶음
locals generate --schema person.json 은 스키마를 필드별로 따르는 JSON을 돌려주며, OpenAI API에서도 response_format으로 같은 동작을 합니다. 많은 문서를 동시에 처리해야 처리량 향상을 살릴 수 있습니다.
도입 전 확인할 점
- 설정
- curl로 설치 스크립트를 받거나 uv tool install --python 3.12 locals 를 실행한 뒤 locals code ~/my-project 를 씁니다. M1 이상, macOS 14, 가급적 16 GB가 필요합니다. M2 Pro와 M2 Max 외의 칩에서는 10~20분의 유휴 시간 동안 스스로 조정합니다.
- 연동
- 127.0.0.1:8321의 OpenAI 호환 /v1, Claude Code용 Anthropic Messages, Ollama API를 지원합니다. OpenCode, Claude Code, Cline, Kilo Code, OpenHands, Aider, Hermes Agent, OpenClaw용 런처와 Roo Code, Continue, Zed, JetBrains용 설정이 있습니다.
- 데이터와 개인정보
- 로컬에서 실행되며 모델은 Hugging Face에서 받습니다. 인증이 없습니다. 기본적으로 127.0.0.1에서 수신하고, Host나 Origin이 로컬이 아닌 요청을 거부하며, 다른 주소에서 수신하면 Host 확인을 끕니다. 대화와 시스템 프롬프트를 디스크를 포함한 캐시에 보관합니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이고 비용은 Mac입니다. 96 GB M2 Max에서 27B 모델에 대한 요청 8건은 초당 78토큰에 이르며 mlx-lm은 25입니다. Recursive의 Flint(40B, 활성 2.5B)는 24 GB 이상이 필요합니다.
- 제한
- 한 번에 모델 하나, MLX 모델만, Windows와 Linux는 미지원입니다. 향상은 동시 처리와 캐시에서 나오므로 캐시 없는 단일 요청과 긴 프롬프트는 대략 mlx-lm 속도로 돌아갑니다.
좋은 점
- M2 Pro에서 동시 요청 8건일 때 mlx-lm의 3.1x 처리량
- 도구 호출과 JSON을 스키마로 제한해 항상 파싱 가능
- OpenAI, Anthropic, Ollama API, 에이전트 도구마다 명령 하나
- 빨라지지 않는 경우 목록과 함께 벤치마크 공개
아쉬운 점
- Apple silicon과 macOS 14 전용, GGUF가 아닌 MLX 모델만
- 단일 요청이나 긴 프롬프트에서는 향상이 작음
- 인증이 없어 안전성이 루프백에 머무는 것에 달려 있음
- 충분히 측정된 것은 M2 Pro, M2 Max, M5 Pro뿐, 출시 한 달
추천 대상
여러 코딩 에이전트나 서브에이전트를 로컬 모델로 돌리며 더 빨리 끝내고 싶은 Mac 개발자.
Locals 대안
Locals: 자주 묻는 질문
- Locals, 쓸 만한 가치가 있습니까?
- 여러 에이전트가 작은 모델 하나를 나눠 쓴다면 고를 만한 Mac용 모델 서버로, 측정된 향상과 함께 빨라지지 않는 경우를 드물게 솔직히 밝힙니다. 평점은 5점 만점에 3.9점입니다.
- Locals의 가격은 얼마입니까?
- 무료 오픈 소스입니다(Apache 2.0). 각 모델은 자체 라이선스를 따릅니다.
- Locals의 단점은 무엇입니까?
- Apple silicon과 macOS 14 전용, GGUF가 아닌 MLX 모델만; 단일 요청이나 긴 프롬프트에서는 향상이 작음; 인증이 없어 안전성이 루프백에 머무는 것에 달려 있음; 충분히 측정된 것은 M2 Pro, M2 Max, M5 Pro뿐, 출시 한 달.
- Locals에 적합한 사람은 누구입니까?
- 여러 코딩 에이전트나 서브에이전트를 로컬 모델로 돌리며 더 빨리 끝내고 싶은 Mac 개발자.
- 팀이나 프로덕션 환경에서 Locals의 비용은 얼마입니까?
- 소프트웨어는 무료이고 비용은 Mac입니다. 96 GB M2 Max에서 27B 모델에 대한 요청 8건은 초당 78토큰에 이르며 mlx-lm은 25입니다. Recursive의 Flint(40B, 활성 2.5B)는 24 GB 이상이 필요합니다.
- Locals에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행되며 모델은 Hugging Face에서 받습니다. 인증이 없습니다. 기본적으로 127.0.0.1에서 수신하고, Host나 Origin이 로컬이 아닌 요청을 거부하며, 다른 주소에서 수신하면 Host 확인을 끕니다. 대화와 시스템 프롬프트를 디스크를 포함한 캐시에 보관합니다.
- Locals의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Ollama, MLX 및 llama.cpp입니다.
답변 확인일: 2026년 11월 13일.