O que é DSpine?
DSpine é um método de decodificação especulativa e um plugin de SGLang da Tencent, publicado com um artigo em setembro de 2026 e com código desde outubro. A decodificação especulativa usa um pequeno modelo rascunho para adivinhar vários tokens à frente, que o modelo principal confere depois em uma só passada; assim a geração fica mais rápida sem mudar o que o modelo principal teria escrito. O rascunho do DSpine propõe de uma vez um bloco de 16 tokens e, em cada camada, passa a característica prevista de cada posição para a seguinte, para que os palpites do fim do bloco fiquem coerentes com os do começo.
Há pesos de rascunho para dois modelos-alvo: Qwen3-8B e, desde 7 de novembro, Qwen3.8-27B, um rascunho de cinco camadas e cerca de 2 bilhões de parâmetros com janela deslizante de 8.192 tokens. O código roda como plugin do SGLang 0.5.22 em CUDA, com um caminho para Apple silicon via mlx-lm só para o Qwen3-8B; o código de treinamento fica no SpecForge.
Código e pesos estão sob Apache 2.0 (o GitHub mostra a licença como não reconhecida por causa de um preâmbulo da Tencent no arquivo). O repositório tem cerca de 234 estrelas e nenhuma versão marcada.
DSpine vale a pena?
O argumento do DSpine se apoia nos replays de agentes da Tencent. Servindo o Qwen3.8-27B com oito requisições simultâneas, ele relata vazão de ponta a ponta de 2,71 a 3,84 vezes a da decodificação normal em traces de código, web e escritório do WorkBuddy, no SWE-bench Pro e no τ²-bench. O rascunho oficial DFlash2, da z-lab, para este modelo chegou a 2,33 a 3,17 vezes nos mesmos replays. No WorkBuddy Office com raciocínio baixo, são 805,53 tokens por segundo contra 664,77 do DFlash2 e 210,03 sem especulação.
O ganho vem de palpites aceitos mais longos. O model card informa uma média de 5,63 tokens aceitos por passo no WorkBuddy Office contra 4,24 do DFlash2, e o artigo, com o Qwen3-8B, eleva o comprimento médio de aceitação de 3,77 no DFlash para 4,82 e a vazão em serviço em 23,3% sobre o DFlash. Todos são números da Tencent, e o card não diz qual GPU usou, embora o backend FlashAttention 3 do comando indique uma placa da classe Hopper.
O porém é o alcance. Um rascunho é treinado para um único modelo-alvo, e o DSpine tem dois. O caminho de 27B exige uma longa lista de opções do SGLang, ReplaySSM para as camadas de atenção linear do Qwen3.8 e ajuste da verificação dinâmica para cada carga de trabalho. A versão MLX só cobre o Qwen3-8B, e o plugin de CUDA fica preso a uma versão específica do SGLang.
Nossa opinião: a decodificação especulativa é o ganho de velocidade mais barato que uma equipe de serving pode ter, porque não muda nada nas respostas. Se o Qwen3.8-27B já é seu modelo de agentes no SGLang, o DSpine vale uma tarde de benchmarks contra o DFlash2 com o seu próprio tráfego; se não, espere um rascunho treinado para o seu modelo.
Onde ele se destaca
Um engenheiro de plataforma que usa o Qwen3.8-27B como modelo de um agente de código interno
Atender mais sessões de agente por GPU sem mudar as respostas
Adicione o rascunho de 2 bilhões de parâmetros ao servidor SGLang existente com --speculative-algorithm DSPINE; a Tencent relata cerca de 3 vezes a vazão da decodificação normal em replays do SWE-bench Pro. Rode antes o script de ajuste SPS nos seus próprios traces.
Uma desenvolvedora que roda o Qwen3-8B localmente num Mac com chip M
Acelerar a geração para um único usuário sem servidor com GPU
Instale o pacote dspine_mlx e rode dspine-generate com um modelo-alvo do mlx-lm sem modificações; a Tencent diz que são precisos cerca de 21 GB de memória unificada para um Qwen3-8B em BF16.
Um pesquisador de inferência que compara rascunhos paralelos
Reproduzir o DSpine contra o DFlash2 e o DSpark num modelo novo
O código de treinamento está no pull request 1038 do SpecForge, treinado com os dados do Open-PerfectBlend nos testes da Tencent. O artigo relata aceitação média 27,8% mais longa que o DFlash no Qwen3-8B com temperatura zero.
Antes de decidir
- Configuração
- Faça git clone do repositório e pip install -e . num ambiente com SGLang 0.5.22, Python 3.11+ e CUDA, depois inicie sglang serve com as opções DSPINE do model card; o rascunho é baixado do Hugging Face.
- Integrações
- Plugin do SGLang (CUDA) e plugin do SGLang-MLX para Apple silicon; rascunhos treinados com o SpecForge; usa verificação dinâmica no estilo do DSpark e ReplaySSM para as camadas de atenção linear do Qwen3.8.
- Dados e privacidade
- Roda inteiramente no seu hardware, sem telemetria descrita. Apache 2.0 para código e pesos, com componentes de terceiros sob as próprias licenças, conforme THIRD_PARTY_NOTICES.
- Custo em escala
- O software é gratuito; o custo é a GPU que já roda o modelo-alvo mais memória para um rascunho de 2 bilhões de parâmetros. Os números publicados de 27B usaram BF16 e oito requisições simultâneas.
- Limites
- Dois modelos-alvo suportados; testado com baixa concorrência (oito requisições); o ganho depende de quão previsível é o seu tráfego; o plugin de CUDA acompanha uma única versão do SGLang.
O que é bom
- De 2,71 a 3,84 vezes a vazão da decodificação normal em replays de agentes (autodeclarado)
- Supera o DFlash2 em todos os benchmarks das tabelas da Tencent
- Código e pesos em Apache 2.0; código de treinamento no SpecForge
- Saída inalterada: o modelo principal confere cada token do rascunho
O que não é
- Rascunhos só para Qwen3-8B e Qwen3.8-27B
- A configuração de 27B exige muitas opções do SGLang e ajuste por carga de trabalho
- Hardware dos números publicados não informado
- Repositório novo: cerca de 234 estrelas, sem versões
Ideal para
Equipes que servem Qwen3.8-27B ou Qwen3-8B no SGLang e querem mais tokens por GPU sem mudar as saídas.
Alternativas ao DSpine
DSpine: perguntas frequentes
- DSpine vale a pena?
- O DSpine é um ganho de velocidade real para quem serve o Qwen3.8-27B no SGLang, e por enquanto não serve para nada a quem serve qualquer outro modelo. Damos nota 3.8 de 5.
- Quanto custa DSpine?
- Gratuito sob Apache 2.0, código e pesos do rascunho. Você precisa da sua própria GPU rodando o modelo-alvo.
- Quais são as desvantagens de DSpine?
- Rascunhos só para Qwen3-8B e Qwen3.8-27B; a configuração de 27B exige muitas opções do SGLang e ajuste por carga de trabalho; hardware dos números publicados não informado; repositório novo: cerca de 234 estrelas, sem versões.
- Para quem DSpine é indicado?
- Equipes que servem Qwen3.8-27B ou Qwen3-8B no SGLang e querem mais tokens por GPU sem mudar as saídas.
- Quanto custa DSpine para uma equipe ou em produção?
- O software é gratuito; o custo é a GPU que já roda o modelo-alvo mais memória para um rascunho de 2 bilhões de parâmetros. Os números publicados de 27B usaram BF16 e oito requisições simultâneas.
- DSpine é seguro para dados da empresa?
- Roda inteiramente no seu hardware, sem telemetria descrita. Apache 2.0 para código e pesos, com componentes de terceiros sob as próprias licenças, conforme THIRD_PARTY_NOTICES.
- Quais são as melhores alternativas ao DSpine?
- As alternativas mais próximas que analisamos são SGLang e vLLM.
Respostas verificadas em 11 de nov. de 2026.