Clover-35B-A3B-Preview의 개요
Clover-35B-A3B-Preview는 HKU NLP의 Dream 7B 확산 모델 팀 출신이 세운 연구소 DiffuSpace의 첫 모델입니다. 2026년 10월 말에 공개됐으며, 총 350억(35 billion) 파라미터 중 약 30억(3 billion)이 활성화되는 Alibaba의 전문가 혼합 모델 Qwen3.6-35B-A3B를 블록 확산 모델로 변환했습니다. 한 번에 토큰 하나씩 쓰는 대신, 확신하는 위치를 병렬로 확정하면서 32 토큰 블록을 채웁니다.
이를 위해 Qwen의 Gated DeltaNet 레이어에 블록 내부 양방향 어텐션을 추가했으며, 각 블록이 공유된 전문가 하위 집합만 쓰도록 제한할 수 있습니다. thinking 모드와 128K 토큰 컨텍스트를 유지하며 텍스트 전용입니다.
가중치는 Qwen에서 물려받은 Apache 2.0입니다. Hugging Face 코드는 참조용 경로이며, DiffuSpace는 서빙에 자체 SGLang 빌드를 권장하고 llama.cpp 지원도 제공합니다.
Clover-35B-A3B-Preview의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Weights | Free | Apache 2.0 |
| Hosted API | Not offered |
Apache 2.0 공개 가중치, 호스팅 API 없음.
Clover-35B-A3B-Preview, 쓸 만한 가치가 있습니까?
Clover의 흥미로운 점은 방법입니다. 기존 자기회귀 전문가 혼합 모델을 병렬 블록 디코딩으로 변환하면서 능력 대부분을 유지할 수 있음을 보여 줍니다. DiffuSpace는 SWE-bench Verified 73.6, Terminal-Bench 2.1 51.7, GPQA Diamond 83.8, MMLU-Pro 84.8을 보고하며, 여섯 가지 에이전트 테스트 모두에서 확산 모델 LLaDA2.2 flash와 Mercury 2.5, 자기회귀 모델 Qwen3.6-35B-A3B를 이긴다고 말합니다. 경쟁 모델의 비교 수치는 차트 이미지로만 나오며, 독립적으로 측정된 것은 없습니다.
확산의 핵심인 속도 측면은 아키텍처가 암시하는 것만큼 극적이지 않습니다. DiffuSpace는 H200에서 초당 515 토큰을 측정했으며, DFlash2 추측 디코딩을 쓴 Qwen은 365 토큰으로 약 1.4배 빠릅니다. 16GB RTX 5070 Ti에서 INT4로는 비슷한 모델의 48.5 토큰 대비 초당 101.8 토큰을 보고합니다. GB300의 초당 680 토큰 수치에는 비교 기준이 없습니다. 같은 모델을 일반 자기회귀 방식으로 디코딩한 것과의 직접 비교도 없습니다.
모델 카드는 미흡한 부분을 솔직하게 밝힙니다. 긴 생성은 반복될 수 있어 기본값에 presence 및 repetition 페널티와 함께, thinking은 4,096 토큰 뒤에, 답변은 8,192 토큰 뒤에 끝내도록 점진적으로 유도하는 편향이 들어 있습니다. Hugging Face 경로와 DiffuSpace의 SGLang 커널은 같은 설정에서도 다른 텍스트를 낼 수 있으며, BF16에는 약 69GB의 GPU 메모리가 필요합니다. tau-cubed Banking의 낮은 14.4점은 확 산 모델이 여전히 긴 멀티턴 작업에서 고전한다는 점을 상기시킵니다.
확산 디코딩이 에이전트에 실용적인지 지켜보는 팀에게 Clover는 연구할 만한 오픈 모델입니다. 프로덕션에서는 같은 Qwen3.6 기반에 추측 디코딩을 쓰면 프리뷰 위험 없이 속도 대부분을 얻을 수 있습니다.
제 역할을 하는 곳
AI 인프라 스타트업의 추론 엔지니어
자사 작업에서 블록 확산이 추측 디코딩보다 나은지 측정
같은 H200에서 DiffuSpace의 SGLang 빌드로 Clover를, DFlash2로 Qwen3.6-35B-A3B를 나란히 서빙하고 초당 토큰과 작업 성공률을 비교합니다. DiffuSpace 자체 격차는 약 1.4배입니다.
16GB RTX 5070 Ti를 가진 취미 개발자
성능 좋은 추론 모델을 쓸 만한 속도로 로컬에서 실행
DiffuSpace는 이 카드에서 INT4로 초당 101.8 토큰을 보고합니다. 기본값이 긴 답변을 8,192 토큰 뒤에 마무리하도록 유도하므로 max_new_tokens 조정이 필요합니다.
대학 NLP 연구 그룹
자기회귀 모델을 확산 모델로 변환하는 방법 연구
모델 카드는 추가된 양방향 Gated DeltaNet 파라미터, 신 뢰도 임계값 디코더(블록 32, 임계값 0.95), 블록별 전문가 선택을 문서화하며, 파일 단위로 Qwen 출처를 표기합니다.
도입 전 확인할 점
- 설정
- BF16용으로 약 69GB 여유가 있는 GPU에서 trust_remote_code와 함께 Transformers 5.19.0을 씁니다. 서빙에는 DiffuSpace GitHub 저장소의 SGLang 구현을 씁니다.
- 연동
- Hugging Face Transformers, 자기 추측 디코딩을 갖춘 DiffuSpace의 SGLang 및 llama.cpp 포크, enable_thinking이 있는 Qwen 스타일 채팅 템플릿.
- 데이터와 개인정보
- Qwen3.6-35B-A3B에서 물려받은 Apache 2.0이며 상위 저작권 표기가 유지됩니다. 자체 호스팅만 가능합니다.
- 대규모 사용 시 비용
- BF16에는 80GB H100 또는 H200 한 장. DiffuSpace 테스트에 따르면 INT4는 16GB 소비자용 GPU에서 실행됩니다.
- 제한
- 마지막 블록 공간을 포함해 프롬프트와 출력 합계 128K 토큰. 매우 긴 출력에서 반복 발생. 프리뷰 품질. 텍스트 전용.
좋은 점
- SWE-bench Verified 73.6 보고, DiffuSpace 테스트에서 다른 오픈 확산 모델보다 크게 앞섬
- DiffuSpace에 따르면 H200에서 DFlash2를 쓴 Qwen의 약 1.4배
- SGLang과 llama.cpp 구현을 갖춘 Apache 2.0
- 128K 컨텍스트와 thinking 모드 유지
아쉬운 점
- 프리뷰이며 모든 결과가 자체 보고, 경쟁 모델 점수는 이미지로만 제공
- 긴 출력이 반복될 수 있어 내장 페널티에 의존
- BF16에서 약 69GB, Transformers와 SGLang 출력이 다름
- tau-cubed Banking에서 14.4로 약함
추천 대상
프로덕션 품질에 이르기 전에 최신 MoE 모델에서 확산 디코딩을 평가하는 연구자와 추론 엔지니어.
Clover-35B-A3B-Preview 대안
Clover-35B-A3B-Preview: 자주 묻는 질문
- Clover-35B-A3B-Preview, 쓸 만한 가치가 있습니까?
- 제작사 수치로는 지금까지 가장 성능 높은 오픈 확산 언어 모델이지만, 속도 향상이 크지 않고 외부 테스트가 없는 프리뷰라 실험하는 사람을 위한 모델입니다. 평점은 5점 만점에 3.6점입니다.
- Clover-35B-A3B-Preview의 가격은 얼마입니까?
- Apache 2.0 공개 가중치, 호스팅 API 없음.
- Clover-35B-A3B-Preview의 단점은 무엇입니까?
- 프리뷰이며 모든 결과가 자체 보고, 경쟁 모델 점수는 이미지로만 제공; 긴 출력이 반복될 수 있어 내장 페널티에 의존; BF16에서 약 69GB, Transformers와 SGLang 출력이 다름; tau-cubed Banking에서 14.4로 약함.
- Clover-35B-A3B-Preview에 적합한 사람은 누구입니까?
- 프로덕션 품질에 이르기 전에 최신 MoE 모델에서 확산 디코딩을 평가하는 연구자와 추론 엔지니어.
- 팀이나 프로덕션 환경에서 Clover-35B-A3B-Preview의 비용은 얼마입니까?
- BF16에는 80GB H100 또는 H200 한 장. DiffuSpace 테스트에 따르면 INT4는 16GB 소비자용 GPU에서 실행됩니다.
- Clover-35B-A3B-Preview에 회사 데이터를 맡겨도 안전합니까?
- Qwen3.6-35B-A3B에서 물려받은 Apache 2.0이며 상위 저작권 표기가 유지됩니다. 자체 호스팅만 가능합니다.
- Clover-35B-A3B-Preview의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Qwen3.8-Flash-Next 및 Nanbeige4.3-33B입니다.
답변 확인일: 2026년 10월 31일.