DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)의 단점은 무엇입니까?

다국어 텍스트 KL 0.777, 가지치기 없는 세트는 0.138; 여전히 디스크 182.72 GB 필요, Engram 테이블에는 NVMe 필요; 보정 데이터셋 비공개; SSD에서 스트리밍할 때 Strata 실행 5번 중 1번 도구 호출 깨짐.

팀이나 프로덕션 환경에서 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)의 비용은 얼마입니까?

이 판에는 호스팅 API가 없고 비용은 하드웨어입니다. Strata 수치는 RTX PRO 6000 Blackwell(테스트 빌드)의 초당 약 100 토큰부터 R9700 네 장의 59.2, RAM을 40 GB로 제한한 R9700 한 장의 20.9까지이며, 16 GB에서는 8.0으로 떨어집니다. NVMe 여유 공간은 llama.cpp에 182.72 GB, Strata에 191 GB를 잡아야 합니다.

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)에 회사 데이터를 맡겨도 안전합니까?

기본 모델에서 승계한 MIT 라이선스로 사용 제한이 없습니다. 모든 것이 로컬에서 돌아가며, 보정 데이터셋은 공개되지 않았습니다.

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)의 가장 좋은 대안은 무엇입니까?

저희가 리뷰한 것 중 가장 가까운 대안은 DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B 및 DeepSeek-V4-Pro입니다.

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF) (2026)

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)의 개요

이 모델은 DeepSeek-V4.1-Flash-1017의 압축판으로, Institute of Science and Technology Austria의 Distributed Algorithms and Systems Lab인 ISTA-DASLab이 2026년 11월 2일 Hugging Face에 공개했습니다. 각 층의 라우팅 전문가 384개 중 192개를 삭제하고 나머지를 양자화해, 551.9B 파라미터의 transformer를 72.12 GB에 담습니다. 같은 연구실의 가지치기 없는 IQ2_XXS 판은 138.2 GB입니다. 연구실은 이를 파라미터당 1비트라고 부르지만, 이는 삭제한 전문가를 0으로 계산해 원래 transformer 전체에 대해 평균한 1.05 bpw이며, 남은 280.1B 파라미터는 평균 2.06 bpw입니다.

이름은 연구실의 두 가지 방법에서 왔습니다. GSQ는 학습 후 스칼라 양자화로, Gumbel-Softmax 샘플링으로 격자 배정과 그룹별 스케일을 함께 학습합니다. 연구실에 따르면 낮은 비트에서 벡터 양자화와의 격차를 대부분 좁히면서도 표준 GGUF 형식으로 저장합니다. RCO는 리만 다양체 위에서 최적화해 정확한 예산에 맞춰 압축합니다. 여기서는 코드, 에이전트의 도구 사용, 긴 컨텍스트, 비전을 겨냥한 보정 데이터에서 가지치기 전후 모델 사이의 KL 발산을 최소화하는 방식으로 지울 전문가를 골랐습니다. 보정 데이터셋은 공개되지 않았습니다.

가중치는 기본 모델의 MIT 라이선스를 그대로 따릅니다. 저장소에는 IQ2_XXS 샤드 5개(첫 번째는 메타데이터만), 가지치기도 탐색도 하지 않고 여섯 번째 샤드로 링크하는 IQ4_NL(4.50 bpw) 형식의 110.60 GB Engram 조회 파일, 0.97 GB 비전 프로젝터가 있어 모두 182.72 GB입니다. 가지치기 없는 판은 248.84 GB입니다. llama.cpp와 Strata에서 실행되며, Hugging Face 다운로드 수는 2026년 11월 5일 기준 127,948회였습니다.

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)의 가격은 얼마입니까?

플랜	가격	포함 내용
Weights	Free	MIT 라이선스, DeepSeek-V4.1-Flash-1017에서 승계
DeepSeek API (base model)	$0.15 in / $0.60 out per 1M tokens off-peak	DeepSeek 서버의 전체 기본 모델이며 이 판이 아닙니다

MIT 라이선스 가중치는 무료이며, Engram 테이블을 포함한 GGUF 파일은 182.72 GB입니다. 비용은 하드웨어입니다. 전체 기본 모델은 DeepSeek API에서 비혼잡 시간에 1M 토큰당 입력 $0.15 / 출력 $0.60입니다.

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF), 쓸 만한 가치가 있습니까?

이 판은 DeepSeek-V4.1-Flash의 프로그래밍 능력 대부분을 워크스테이션 한 대에 올리고, 그 대신 코드가 아닌 거의 모든 것을 내줍니다. ISTA-DASLab이 추론 강도 50으로 직접 돌린 결과, SWE-bench Verified에서 FP8/FP4 기본 모델의 81.20 대비 77.00(94.8% 유지), LiveCodeBench v6에서 89.71 대비 88.57(98.7%)을 기록했습니다. 연구실은 SWE-bench 하락폭이 더 큰 이유를 여러 턴에 걸친 긴 에이전트 작업에서 오류가 쌓이기 때문이라고 설명합니다. 독립적인 SWE-bench 실행 결과는 찾지 못했습니다.

손실이 어디서 생기는지는 Strata의 측정이 보여 줍니다. 4,995개 위치에서 전체 모델과 출력 분포를 비교하면 Coder의 KL 발산은 0.397이고 가장 유력한 토큰이 일치하는 비율은 76.4%입니다. 가지치기 없는 2.00 bpw 세트는 0.171과 83.7%이며, 퍼플렉서티는 전체 모델의 3.140에서 4.645로 오릅니다. 내용별로 보면 KL은 코드에서 0.230, 에이전트 기록에서 0.199지만, 영어 산문에서는 0.476, 다국어 텍스트에서는 0.777로, 가지치기 없는 세트의 0.138보다 훨씬 큽니다. Strata 자체의 61개 작업 테스트에서는 54개를 통과합니다. 모델 카드도 이를 솔직히 밝혀, 이번 공개를 실험적이라고 부르고 일반 용도에는 가지치기 없는 GSQ-RCO 판을 권합니다.

GPU 한 장이라는 주장은 꼼꼼히 읽어야 합니다. GPU에 올라가는 것은 72.1 GB transformer이고, 110.6 GB Engram 테이블은 디스크에 메모리 매핑된 채 토큰마다 한 행씩 읽힙니다. 그래서 빠른 NVMe 드라이브가 사양의 일부이며, 모델 카드에는 RAM이나 VRAM 수치가 없습니다. Strata 0.2.10 릴리스 노트가 그 빈칸을 채웁니다. 128 GB Ryzen AI Max에서 초당 20.9~21.9 토큰, 최대 메모리 74 GB를 쓴 Apple M5 Max에서 19.1~22.5, Radeon AI PRO R9700 네 장에서 59.2입니다. note.com에 글을 쓰는 한 사용자는 RTX 3090 두 장과 64 GB RAM, 64K 컨텍스트에서 평균 초당 29.8 토큰을 측정했는데, 같은 기기에서 가지치기 없는 UD-IQ1_M 판이 낸 10.1의 약 3배입니다.

기본 모델과 비교하면 차이는 디스크가 아니라 빠른 메모리에 있습니다. 저희 DeepSeek-V4.1-Flash 리뷰는 공식 체크포인트를 약 765 GB로 보며, 이는 H100 여덟 장 노드에도 들어가지 않습니다. 연구실의 가지치기 없는 IQ2_XXS는 248.84 GB, 이 판은 182.72 GB이고, 두 판 모두 공유 Engram 파일이 110.60 GB를 차지합니다. 가지치기는 VRAM이나 RAM에 있어야 하는 부분만 줄이는데, 일반 소비자용 기기에서 속도를 정하는 것이 바로 그 부분입니다. 코드를 DeepSeek API로 보낼 수 있는 팀이라면 비혼잡 시간 입력 100만 토큰당 $0.15가 어떤 하드웨어보다 저렴합니다. Coder는 자기 기기 밖으로 나갈 수 없는 코드를 위한 것입니다.

거친 부분도 문서로 남아 있습니다. Strata는 NVIDIA 카드를 쓰는 Windows를 아직 실행해 보지 않았다고 밝히며, 온도 0에서도 시작할 때마다 답이 달라질 수 있습니다. 모델 대부분을 SSD에서 스트리밍할 때는 다섯 번 중 한 번꼴로 인자 안에 DSML 표지가 들어간 깨진 도구 호출이 나왔습니다. 모델 전체가 메모리에 있을 때는 도구 호출 8번이 모두 올바르게 돌아왔습니다.

제 역할을 하는 곳

RTX 3090 두 장과 64 GB RAM을 가진 개발자
비공개 저장소에서 로컬 코딩 에이전트 실행
Strata 0.2.10에서 strata launch --model ISTA-DAS-Coder를 실행합니다. 첫 다운로드는 8 GB 드래프터를 포함해 191 GB입니다. 그다음 Claude Code나 OpenCode를 localhost API에 연결합니다. 한 사용자는 64K 컨텍스트에서 평균 초당 29.8 토큰을 측정했고, Strata 풀 리퀘스트는 3090 두 장과 121 GB RAM으로 8K에서 25.27을 측정했습니다.
고객 기밀 유지 의무가 있는 20명 규모 소프트웨어 컨설팅 회사의 CTO
중국에 호스팅된 DeepSeek API 없이 DeepSeek급 프로그래밍 도움 받기
Strata 릴리스 노트에 따르면 128 GB Ryzen AI Max 한 대에서 초당 20.9~21.9 토큰으로 돌아가며, 토큰당 요금이 없고 MIT 라이선스입니다. 다른 언어로 된 고객 문서는 다국어 KL이 0.138인 가지치기 없는 판에 맡기는 편이 낫습니다. Coder는 0.777입니다.
모델 압축을 연구하는 ML 연구자
같은 모델에서 전문가 가지치기와 단순 저비트 양자화 비교
저장소의 kept-experts.json에는 층마다 남긴 192개 전문가가 나와 있고, 연구실의 가지치기 없는 GSQ-RCO 저장소에는 같은 체크포인트의 IQ1_M(1.75 bpw), IQ2_XXS(2.00), IQ2_XS(2.25)가 있습니다. Strata의 분야별 KL 표가 코드, 에이전트, 문서, 영어, 다국어 텍스트의 기준선이 됩니다.

도입 전 확인할 점

설정: hf download --include "IQ2_XXS/*" "*Engram*"로 내려받고, Engram 파일을 샤드 6으로 링크한 뒤(ln -s, Windows는 mklink /H) llama.cpp b11870 이상에서 -m에 샤드 1을 지정하고 -ngl 99를 붙여 실행합니다. 이미지는 --mmproj, 추론은 --reasoning on --reasoning-effort 50을 더합니다. Strata 0.2.10에서는 명령 하나로 191 GB를 내려받고, Engram 파일이 이미 있으면 약 80 GB입니다.
연동: llama.cpp(llama-cli, llama-server, 비전용으로 --jinja를 붙인 llama-mtmd-cli)와, localhost에서 OpenAI 호환 및 Anthropic 호환 API를 제공하는 Strata입니다. 연구실은 이 판들을 Strata와 함께 조정했다고 밝힙니다.
데이터와 개인정보: 기본 모델에서 승계한 MIT 라이선스로 사용 제한이 없습니다. 모든 것이 로컬에서 돌아가며, 보정 데이터셋은 공개되지 않았습니다.
대규모 사용 시 비용: 이 판에는 호스팅 API가 없고 비용은 하드웨어입니다. Strata 수치는 RTX PRO 6000 Blackwell(테스트 빌드)의 초당 약 100 토큰부터 R9700 네 장의 59.2, RAM을 40 GB로 제한한 R9700 한 장의 20.9까지이며, 16 GB에서는 8.0으로 떨어집니다. NVMe 여유 공간은 llama.cpp에 182.72 GB, Strata에 191 GB를 잡아야 합니다.
제한: Strata의 기본 컨텍스트는 8,192 토큰이고 최대 1M까지 받지만 256K를 넘는 범위는 시험하지 않았습니다. 384개 전문가용으로 만든 핫 전문가 프로필은 불러올 수 없습니다. Strata 0.2.10에서 NVIDIA Windows는 검증되지 않았고, 온도 0에서도 시작할 때마다 출력이 달라지며, 품질은 영어 산문과 다국어 텍스트에서 가장 많이 떨어집니다.

좋은 점

SWE-bench Verified 77.00, 기본 모델의 94.8%(자체 발표)
transformer 72.1 GB, 가지치기 없는 판은 138.2 GB
MIT 라이선스, 0.97 GB 프로젝터로 이미지 입력 유지
RTX 3090 두 장과 64 GB RAM에서 초당 약 30 토큰(사용자 보고)

아쉬운 점

다국어 텍스트 KL 0.777, 가지치기 없는 세트는 0.138
여전히 디스크 182.72 GB 필요, Engram 테이블에는 NVMe 필요
보정 데이터셋 비공개
SSD에서 스트리밍할 때 Strata 실행 5번 중 1번 도구 호출 깨짐

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF) 대안