Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Speculative decoding

O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.

Também chamado: draft model

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

Um modelo de linguagem grande normalmente gera um token por forward pass, e cada passada lê todos os seus pesos da memória. Isso torna a decodificação lenta mesmo quando a GPU tem processamento sobrando. O speculative decoding, descrito por Leviathan et al. em 2022, usa esse processamento sobrando.

Como funciona

Um modelo rascunho mais barato tenta adivinhar os próximos tokens. O modelo alvo, grande, então avalia todas essas posições de uma vez, em paralelo. Os tokens com que ele concorda são mantidos; na primeira discordância, a escolha do próprio modelo alvo é usada e o resto do rascunho é descartado. Uma regra especial de amostragem garante que o texto final siga a mesma distribuição do modelo alvo, então a qualidade não muda. O artigo relata um ganho de velocidade de 2X-3X no T5-XXL com saídas idênticas.

Quando ajuda

O ganho depende de quantas vezes o rascunho acerta. Funciona melhor em texto previsível, como código, saída estruturada ou respostas que repetem partes do prompt. Algumas variantes dispensam o modelo rascunho separado: umas adicionam cabeças extras de previsão ao modelo principal, outras buscam continuações prováveis no próprio prompt. Serving engines como vLLM e SGLang suportam vários métodos.

Custos

O modelo rascunho precisa de memória própria, e palpites errados desperdiçam processamento. Sob carga pesada em lote, quando a GPU já está ocupada, o benefício diminui. Meça os tokens por segundo no seu próprio tráfego antes e depois. Para o quadro mais amplo, veja inferência e model serving.

Termos relacionados

Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
Modelo autorregressivo
Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
Destilação de conhecimento
A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.

Fontes