Speculative decoding
O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.
Também chamado: draft model
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Um modelo de linguagem grande normalmente gera um token por forward pass, e cada passada lê todos os seus pesos da memória. Isso torna a decodificação lenta mesmo quando a GPU tem processamento sobrando. O speculative decoding, descrito por Leviathan et al. em 2022, usa esse processamento sobrando.
Como funciona
Um modelo rascunho mais barato tenta adivinhar os próximos tokens. O modelo alvo, grande, então avalia todas essas posições de uma vez, em paralelo. Os tokens com que ele concorda são mantidos; na primeira discordância, a escolha do próprio modelo alvo é usada e o resto do rascunho é descartado. Uma regra especial de amostragem garante que o texto final siga a mesma distribuição do modelo alvo, então a qualidade não muda. O artigo relata um ganho de velocidade de 2X-3X no T5-XXL com saídas idênticas.
Quando ajuda
O ganho depende de quantas vezes o rascunho acerta. Funciona melhor em texto previsível, como código, saída estruturada ou respostas que repetem partes do prompt. Algumas variantes dispensam o modelo rascunho separado: umas adicionam cabeças extras de previsão ao modelo principal, outras buscam continuações prováveis no próprio prompt. Serving engines como vLLM e SGLang suportam vários métodos.
Custos
O modelo rascunho precisa de memória própria, e palpites errados desperdiçam processamento. Sob carga pesada em lote, quando a GPU já está ocupada, o benefício diminui. Meça os tokens por segundo no seu próprio tráfego antes e depois. Para o quadro mais amplo, veja inferência e model serving.
Termos relacionados
- Inferência
- Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
- Tokens por segundo
- Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
- Modelo autorregressivo
- Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
- Destilação de conhecimento
- A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.