본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

DwarfStar (ds4)

antirez의 C 추론 엔진. DeepSeek V4 Flash를 필두로 소수의 대형 오픈 모델을 96 GB 이상 Mac, DGX Spark, Strix Halo에서 실행합니다.

리뷰어: ReviewRamble editors · 업데이트

GitHub에서 보기 오픈 소스

이 페이지 공유:XLinkedInFacebookRedditWhatsApp이메일

평점

4.1/5

ds4는 범용성을 포기함으로써 최상급 오픈 모델을 대형 Mac 한 대나 DGX Spark에서 쓸 만한 속도로 돌립니다. 그것이 빠른 이유이자, 다음 커밋에서 쓰던 모델이 사라질 수 있는 이유입니다.

DwarfStar (ds4)의 개요

DwarfStar(배포 이름 ds4)는 Salvatore Sanfilippo(antirez, Redis 창시자)가 C로 작성한 작은 네이티브 추론 엔진입니다. 지원 모델은 의도적으로 소수입니다: DeepSeek V4 Flash와 V4.1 Flash, DeepSeek V4 PRO, GLM 5.2, 5.3, 5.3 Flash, 그리고 Qwen3.8 Flash Next입니다. 범용 GGUF 실행기가 아니며, 프로젝트가 직접 만든 GGUF 파일만 불러옵니다.

저장소에는 멀티턴 CLI(`ds4`), 네이티브 코딩 에이전트(`ds4-agent`), OpenAI 방식의 chat·Responses 엔드포인트와 Anthropic 방식의 messages 엔드포인트를 갖춘 HTTP 서버(`ds4-server`), 기능 회귀 테스트용 `ds4-eval`이 들어 있습니다. 주 대상은 Apple silicon의 Metal이며, CUDA(DGX Spark와 L40S 같은 멀티 GPU 카드)와 Strix Halo의 ROCm도 지원합니다. SSD 스트리밍으로 RAM보다 큰 모델을 디스크에서 실행할 수 있고, 두 대의 머신이 RDMA나 레이어 파이프라인으로 모델 하나를 나눠 맡을 수 있습니다.

DwarfStar (ds4), 쓸 만한 가치가 있습니까?

ds4는 개인이 소유할 수 있는 하드웨어에서 DeepSeek V4 Flash를 실행하는 가장 직접적인 방법입니다. README는 DeepSeek와 GLM에는 96 GB 이상, Qwen3.8 Flash Next에는 64 GB Mac을 기준으로 하며, 처음 내려받는 Flash Q2는 약 81 GiB입니다. 커뮤니티 사이트는 128 GB M5 Max에서 32K 컨텍스트 기준 생성 초당 34.4 토큰, prefill 초당 557 토큰을 기록했고, README는 L40S 카드 8장에서 16개 세션 합계 초당 약 126 토큰을 보고합니다. 저장소는 2026년 5월 첫 커밋 이후 GitHub 스타 약 24,400개를 모았습니다.

좁은 범위는 우연이 아니라 설계입니다. 범용 로더 대신 모델마다 전용 프롬프트 템플릿, 도구 호출 형식, 양자화 레시피, KV 캐시 처리를 두고, 로딩, 도구 호출, 서버, 에이전트를 함께 테스트합니다. SSD 스트리밍은 범위를 더 넓힙니다. Qwen3.8의 Q2 버전은 95.37 GiB의 n-gram 테이블을 디스크에 두고 메모리에는 41.73 GiB의 가중치만 올리므로, 빠른 로컬 SSD도 하드웨어 요구 사항의 일부가 됩니다.

서버는 기본적으로 127.0.0.1:8000에서 수신합니다. 문서는 --host 0.0.0.0으로 공개하기 전에 인증과 TLS를 앞단에 두라고 안내하며, 내장 인증은 설명하지 않습니다. 저장된 에이전트 세션은 ~/.ds4/kvcache에 있으며, README의 경고대로 개인 정보가 담길 수 있습니다.

주의할 점: README는 이 소프트웨어를 베타 품질이라고 하며, 더 나은 모델이 나오면 기존 모델을 뺄 수 있다고 밝힙니다. 오늘 작동하는 구성이 다음 달에도 작동한다는 보장은 없습니다. 태그된 릴리스는 없고, 계속 움직이는 main 브랜치와 약 873건의 열린 이슈 및 풀 리퀘스트가 있을 뿐입니다. 코드는 AI 코딩 에이전트의 많은 도움을 받아 작성되며 프로젝트도 이를 공개적으로 밝힙니다. 빠진 기능에 대한 공식 답은 각자의 코딩 에이전트에게 추가하게 하라는 것입니다.

결론: 128 GB Mac을 가진 개발자가 유료 코딩 어시스턴트의 일부를 대신할 만큼 좋은 로컬 모델을 원한다면, 지금은 범용 실행기보다 ds4가 더 나은 선택입니다. 팀용으로 안정적이고 지원되는 서버가 필요하다면 커밋을 고정하고 llama.cpp를 대비책으로 남겨 두는 편이 맞습니다.

제 역할을 하는 곳

  • 128 GB MacBook Pro를 쓰는 프리랜서 개발자

    API 비용이나 고객의 데이터 규정 때문에 클라우드를 쓸 수 없을 때 로컬 모델로 Claude Code 사용하기

    Flash Q2(약 81 GiB)를 내려받고 `ds4-server`를 실행한 뒤, 클라이언트 설정 가이드에 따라 Claude Code의 Anthropic 기본 URL을 그쪽으로 지정합니다. 비용은 노트북과 전기료뿐이며, 커뮤니티 사이트는 M5 Max에서 초당 약 34 토큰의 생성 속도를 기록했습니다.

  • L40S 카드 랙을 보유한 소규모 ML 팀

    새 GPU를 사지 않고 여러 사내 사용자에게 DeepSeek V4 Flash 제공하기

    `make cuda-generic`으로 빌드하고 여러 세션으로 서버를 실행합니다. README는 L40S 카드 8장에서 16개 세션 합계 초당 약 126 토큰을 보고합니다. 문서에 둘 다 설명이 없으므로 인증 프록시와 TLS를 앞단에 둡니다.

  • 양자화 레시피를 비교하는 연구자

    전문가 가중치를 2비트로 강하게 양자화한 뒤에도 모델이 올바르게 답하는지 확인하기

    각 GGUF에 대해 core 또는 hard 스위트로 `ds4-eval`을 실행하고 트레이스를 비교합니다. 저장소에는 GGUF 파일과 imatrix 데이터를 만드는 도구도 있습니다.

도입 전 확인할 점

설정
저장소를 클론하고 `make`(또는 `make cuda-spark`, `make strix-halo`, `make cuda-generic`)를 실행한 뒤 `./download_model.sh ds4f-q2`를 실행합니다. 느린 부분은 약 81 GiB의 모델 다운로드입니다.
연동
OpenAI chat·Responses와 Anthropic messages 엔드포인트(도구 및 SSE 스트리밍 지원). Pi, OpenCode, Codex CLI, Claude Code용 설정이 문서화되어 있습니다.
데이터와 개인정보
모두 로컬에서 실행되며, --host를 지정하지 않으면 서버는 127.0.0.1:8000에 바인딩됩니다. ~/.ds4/kvcache에 저장된 세션에는 개인 대화 내용이 담길 수 있습니다. README에는 텔레메트리 언급이 없습니다.
대규모 사용 시 비용
라이선스 비용은 없습니다. 실제 비용은 하드웨어로, DeepSeek나 GLM에는 96 GB 이상의 통합 메모리나 여러 장의 CUDA 카드, 큰 GGUF 파일을 위한 빠른 SSD 공간이 필요합니다.
제한
지원 모델은 바뀔 수 있는 고정 목록입니다. 태그된 릴리스가 없습니다. 이미지가 포함된 세션은 아직 저장할 수 없습니다. 인증과 TLS가 문서화되어 있지 않습니다.

좋은 점

  • 프로젝트 수치 기준 128 GB Mac에서 DeepSeek V4 Flash를 초당 약 34 토큰으로 실행
  • OpenAI·Anthropic 호환 서버로 Claude Code, Codex CLI, OpenCode와 연동
  • SSD 스트리밍과 두 머신 간 RDMA로 한 대의 RAM을 넘는 모델도 실행
  • 기본값은 로컬 전용: 서버가 127.0.0.1에 바인딩

아쉬운 점

  • 프로젝트 자체 GGUF 파일만 불러오며, 모델이 빠질 수 있음
  • 베타 품질, 태그된 릴리스 없음, 열린 이슈와 풀 리퀘스트 약 873건
  • 최소 64 GB가 필요하고, 큰 모델에는 빠른 SSD도 필요
  • 서버를 네트워크에 공개할 때의 인증이 문서화되어 있지 않음

추천 대상

96 GB 이상 Mac, DGX Spark, Strix Halo 장비를 갖추고 DeepSeek V4 Flash나 GLM 5.3 Flash를 코딩 에이전트 뒤에서 로컬로 돌리려는 개발자.

DwarfStar (ds4) 대안

DwarfStar (ds4): 자주 묻는 질문

DwarfStar (ds4), 쓸 만한 가치가 있습니까?
ds4는 범용성을 포기함으로써 최상급 오픈 모델을 대형 Mac 한 대나 DGX Spark에서 쓸 만한 속도로 돌립니다. 그것이 빠른 이유이자, 다음 커밋에서 쓰던 모델이 사라질 수 있는 이유입니다. 평점은 5점 만점에 4.1점입니다.
DwarfStar (ds4)의 가격은 얼마입니까?
무료 오픈 소스(MIT)입니다. 호스팅형이나 유료 요금제는 없으며, 하드웨어를 직접 마련하고 가중치를 내려받습니다.
DwarfStar (ds4)의 단점은 무엇입니까?
프로젝트 자체 GGUF 파일만 불러오며, 모델이 빠질 수 있음; 베타 품질, 태그된 릴리스 없음, 열린 이슈와 풀 리퀘스트 약 873건; 최소 64 GB가 필요하고, 큰 모델에는 빠른 SSD도 필요; 서버를 네트워크에 공개할 때의 인증이 문서화되어 있지 않음.
DwarfStar (ds4)에 적합한 사람은 누구입니까?
96 GB 이상 Mac, DGX Spark, Strix Halo 장비를 갖추고 DeepSeek V4 Flash나 GLM 5.3 Flash를 코딩 에이전트 뒤에서 로컬로 돌리려는 개발자.
팀이나 프로덕션 환경에서 DwarfStar (ds4)의 비용은 얼마입니까?
라이선스 비용은 없습니다. 실제 비용은 하드웨어로, DeepSeek나 GLM에는 96 GB 이상의 통합 메모리나 여러 장의 CUDA 카드, 큰 GGUF 파일을 위한 빠른 SSD 공간이 필요합니다.
DwarfStar (ds4)에 회사 데이터를 맡겨도 안전합니까?
모두 로컬에서 실행되며, --host를 지정하지 않으면 서버는 127.0.0.1:8000에 바인딩됩니다. ~/.ds4/kvcache에 저장된 세션에는 개인 대화 내용이 담길 수 있습니다. README에는 텔레메트리 언급이 없습니다.
DwarfStar (ds4)의 가장 좋은 대안은 무엇입니까?
저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Ollama 및 MLX입니다.

답변 확인일: 2026년 11월 16일.

DwarfStar (ds4) 개발사입니까? 이 평점을 사이트에 표시하십시오ReviewRamble 평점: DwarfStar (ds4), 5점 만점에 4.1점