Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Modelo de linguagem de difusão

Um modelo de linguagem de difusão (dLLM) gera texto partindo de uma sequência totalmente mascarada ou ruidosa e refinando muitas posições de token em paralelo ao longo de vários passos, em vez de escrever um token por vez.

Também chamado: dLLM, masked diffusion language model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

A maioria dos grandes modelos de linguagem é autorregressiva: eles escrevem da esquerda para a direita, um token por passo. Um modelo de linguagem de difusão toma emprestada a abordagem dos modelos de difusão de imagens. Ele começa com uma sequência em que todas as posições estão ocultas, prevê todas elas, mantém as previsões de que tem mais certeza e repete até o texto ficar completo.

Como funciona

A receita comum é a difusão mascarada. Durante o treinamento, partes aleatórias de texto real são substituídas por um token de máscara, e o modelo, geralmente um transformer sem a máscara da esquerda para a direita, aprende a preenchê-las. Durante a geração, ele roda esse processo ao contrário. O artigo do LLaDA descreve exatamente isso: um processo de mascaramento para a frente e um processo de geração reverso. O LLaDA foi treinado com as mesmas etapas de pré-treinamento e fine-tuning supervisionado usadas para LLMs normais.

Por que isso importa para quem constrói

Como muitos tokens são preenchidos de uma vez, um modelo de difusão pode produzir texto em menos passos, o que pode significar um throughput muito maior. O experimental DiffusionGemma 26B A4B do Google, analisado neste site, é um exemplo dessa troca. O modelo também consegue olhar a sequência inteira enquanto edita, o que serve para preencher o meio de um código ou texto.

Limites

A qualidade por parâmetro em geral tem ficado atrás dos melhores modelos autorregressivos, e menos passos costumam significar menor qualidade. Ferramentas de serving, KV caching e streaming foram construídos em torno da geração token a token, então o suporte a dLLMs é mais novo e mais limitado. Teste nas suas próprias tarefas antes de trocar de modelo.

Termos relacionados

Modelo de difusão
Um modelo de difusão (diffusion model) é um modelo generativo que aprende a transformar ruído aleatório em dados, como uma imagem, removendo um pouco de ruído por vez ao longo de muitos passos.
Modelo autorregressivo
Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
Grande modelo de linguagem
Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.

Fontes