DSpine의 개요
DSpine은 Tencent의 추측 디코딩 기법이자 SGLang 플러그인으로, 2026년 9월 논문이 나왔고 10월부터 코드가 공개됐습니다. 추측 디코딩은 작은 드래프트 모델이 몇 토큰을 앞서 추측하면 주 모델이 한 번에 검증하는 방식이라, 주 모델이 썼을 내용을 바꾸지 않고 생성을 빠르게 합니다. DSpine의 드래프트는 16토큰 블록을 한꺼번에 제안하고, 모든 층에서 각 위치의 예측 특징을 다음 위치로 넘겨 블록 뒤쪽의 추측이 앞쪽과 어긋나지 않게 합니다.
드래프트 가중치는 두 대상 모델용으로 있습니다. Qwen3-8B용과, 11월 7일부터 나온 Qwen3.8-27B용으로, 후자는 5층, 약 20억 개(2 billion) 매개변수, 8,192토큰 슬라이딩 윈도를 가진 드래프트입니다. 코드는 CUDA에서 SGLang 0.5.22 플러그인으로 돌아가며, Apple silicon에서는 Qwen3-8B에 한해 mlx-lm을 통한 경로가 있습니다. 훈련 코드는 SpecForge에 있습니다.
코드와 가중치는 Apache 2.0입니다(파일 앞부분의 Tencent 서문 때문에 GitHub는 라이선스를 인식하지 못한다고 표시합니다). 저장소 별은 약 234개이고 태그된 릴리스는 없습니다.
DSpine, 쓸 만한 가치가 있습니까?
DSpine의 근거는 Tencent의 에이전트 재생 테스트입니다. 동시 요청 8개로 Qwen3.8-27B를 서빙했을 때 WorkBuddy의 코드, 웹, 사무 트레이스와 SWE-bench Pro, τ²-bench에서 종단 간 처리량이 일반 디코딩의 2.71~3.84배라고 보고합니다. 이 모델용 z-lab 공식 드래프트 DFlash2는 같은 재생 테스트 에서 2.33~3.17배였습니다. 낮은 추론 설정의 WorkBuddy Office에서는 초당 805.53토큰으로, DFlash2의 664.77, 추측 없이 돌린 210.03을 앞섭니다.
향상은 더 길게 받아들여지는 추측에서 나옵니다. 모델 카드에 따르면 WorkBuddy Office에서 단계당 평균 수락 토큰은 5.63개로 DFlash2의 4.24개보다 많고, 논문은 Qwen3-8B에서 평균 수락 길이를 DFlash의 3.77에서 4.82로, 서빙 처리량을 DFlash보다 23.3% 높였다고 밝힙니다. 모두 Tencent의 수치이며, 카드는 사용한 GPU를 밝히지 않지만 명령에 있는 FlashAttention 3 백엔드로 보아 Hopper급 카드로 짐작됩니다.
주의할 점: 적용 범위입니다. 드래프트는 대상 모델마다 따로 훈련해야 하는데 DSpine은 두 개뿐입니다. 27B 경로에는 긴 SGLang 옵션 목록, Qwen3.8의 선형 어텐션 층을 위한 ReplaySSM, 작업 부하마다 동적 검증 조정이 필요합니다. MLX 버전은 Qwen3-8B만 지원하고, CUDA 플러그인은 특정 SGLang 버전에 묶여 있습니다.
결론: 추측 디코딩은 답변을 전혀 바꾸지 않으니 서빙 팀이 얻을 수 있는 가장 싼 속도 향상입니다. 이미 SGLang에서 Qwen3.8-27B를 에이전트 모델로 쓰고 있다면 자체 트래픽으로 DFlash2와 비교하는 데 한나절을 쓸 만합니다. 그렇지 않다면 내 모델용으로 훈련된 드래프트를 기다리십시오.
제 역할을 하는 곳
사내 코딩 에이전트의 모델로 Qwen3.8-27B를 운영하는 플랫폼 엔지니어
답변을 바꾸지 않고 GPU당 에이전트 세션을 늘리기
기존 SGLang 서버에 --speculative-algorithm DSPINE으로 20억 매개변수 드래프트를 붙입니다. Tencent는 SWE-bench Pro 재생 테스트에서 일반 디코딩의 약 3배 처리량을 보고합니다. 먼저 자체 트레이스로 SPS 조정 스크립트를 돌리십시오.
M 시리즈 Mac에서 Qwen3-8B를 로컬로 돌리는 개발자
GPU 서버 없이 1인용 생성 속도 높이기
dspine_mlx 패키지를 설치하고 수정하지 않은 mlx-lm 대상 모델로 dspine-generate를 실행합니다. Tencent에 따르면 BF16 Qwen3-8B에는 약 21 GB의 통합 메모리가 필요합니다.
병렬 드래프터를 비교하는 추론 연구자
새 모델에서 DSpine을 DFlash2, DSpark와 비교 재현하기
훈련 코드는 SpecForge 풀 리퀘스트 1038에 있으며, Tencent 실험에서는 Open-PerfectBlend 데이터로 훈련했습니다. 논문은 Qwen3-8B, 온도 0에서 평균 수락 길이가 DFlash보다 27.8% 길다고 보고합니다.
도입 전 확인할 점
- 설정
- 저장소를 git clone하고 SGLang 0.5.22, Python 3.11 이상, CUDA 환경에서 pip install -e .를 실행한 뒤, 모델 카드의 DSPINE 옵션으로 sglang serve를 시작합니다. 드래프트는 Hugging Face에서 내려받습니다.
- 연동
- SGLang 플러그인(CUDA)과 Apple silicon용 SGLang-MLX 플러그인. 드래프트는 SpecForge로 훈련하며, DSpark 방식의 동적 검증과 Qwen3.8 선형 어텐션 층을 위한 ReplaySSM을 씁니다.
- 데이터와 개인정보
- 모두 자체 하드웨어에서 돌아가며 원격 측정에 관한 설명은 없습니다. 코드와 가중치는 Apache 2.0이고, 제3자 구성 요소는 THIRD_PARTY_NOTICES에 따라 각자의 라이선스를 따릅니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료입니다. 비용은 이미 대상 모델을 돌리는 GPU와 20억 매개변수 드래프트용 메모리입니다. 공개된 27B 수치는 BF16, 동시 요청 8개 기준입니다.
- 제한
- 지원 대상 모델 두 개, 낮은 동시성(요청 8개)에서 시험, 향상 폭은 트래픽의 예측 가능성에 달려 있으며, CUDA 플러그인은 SGLang 한 버전만 따라갑니다.
좋은 점
- 에이전트 재생 테스트에서 일반 디코딩의 2.71~3.84배 처리량(자체 발표)
- Tencent 표의 모든 벤치마크에서 DFlash2를 앞섬
- 코드와 가중치 Apache 2.0, 훈련 코드는 SpecForge에
- 출력 불변: 주 모델이 드래프트 토큰을 모두 검증
아쉬운 점
- 드래프트는 Qwen3-8B와 Qwen3.8-27B용뿐
- 27B 설정에는 많은 SGLang 옵션과 작업 부하별 조정 필요
- 공개 수치의 측정 하드웨어 미공개
- 신생 저장소: 별 약 234개, 릴리스 없음
추천 대상
SGLang에서 Qwen3.8-27B나 Qwen3-8B를 서빙하며 출력을 바꾸지 않고 GPU당 토큰을 늘리려는 팀.
DSpine 대안
DSpine: 자주 묻는 질문
- DSpine, 쓸 만한 가치가 있습니까?
- DSpine은 SGLang에서 Qwen3.8-27B를 서빙하는 사람에게는 진짜 속도 향상이지만, 다른 모델을 서빙하는 사람에게는 아직 쓸모가 없습니다. 평점은 5점 만점에 3.8점입니다.
- DSpine의 가격은 얼마입니까?
- 코드와 드래프트 가중치는 Apache 2.0으로 무료입니다. 대상 모델을 돌리는 자체 GPU가 필요합니다.
- DSpine의 단점은 무엇입니까?
- 드래프트는 Qwen3-8B와 Qwen3.8-27B용뿐; 27B 설정에는 많은 SGLang 옵션과 작업 부하별 조정 필요; 공개 수치의 측정 하드웨어 미공개; 신생 저장소: 별 약 234개, 릴리스 없음.
- DSpine에 적합한 사람은 누구입니까?
- SGLang에서 Qwen3.8-27B나 Qwen3-8B를 서빙하며 출력을 바꾸지 않고 GPU당 토큰을 늘리려는 팀.
- 팀이나 프로덕션 환경에서 DSpine의 비용은 얼마입니까?
- 소프트웨어는 무료입니다. 비용은 이미 대상 모델을 돌리는 GPU와 20억 매개변수 드래프트용 메모리입니다. 공개된 27B 수치는 BF16, 동시 요청 8개 기준입니다.
- DSpine에 회사 데이터를 맡겨도 안전합니까?
- 모두 자체 하드웨어에서 돌아가며 원격 측정에 관한 설명은 없습니다. 코드와 가중치는 Apache 2.0이고, 제3자 구성 요소는 THIRD_PARTY_NOTICES에 따라 각자의 라이선스를 따릅니다.
- DSpine의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SGLang 및 vLLM입니다.
답변 확인일: 2026년 11월 11일.