Modelos de visão e linguagem são lentos pelo mesmo motivo que os chatbots: escrevem um token por vez. A decodificação especulativa acelera isso deixando um pequeno modelo de rascunho adivinhar vários tokens à frente enquanto o modelo grande os confere numa só passagem, ficando só com os que aprova. O MMFlash, preprint da National University of Singapore, faz isso funcionar melhor quando o modelo lê imagens e vídeo.
A equipe partiu do DFlash, um rascunho recente que usa difusão em blocos para propor um bloco inteiro de tokens numa passagem. Ela mediu quanto cada token depende da imagem comparando as previsões do modelo com e sem ela. O resultado foi claro: os tokens de rascunho com menor dependência visual eram aceitos 46% das vezes, e os mais visuais só 22%. O quarto mais visual causava 44% das primeiras rejeições num bloco de rascunho. Treinar com dados multimodais não fechou a diferença.
A solução do MMFlash é dar mais peso no treinamento aos tokens visuais que o rascunho ainda prevê mal, diminuindo esse peso conforme ele melhora. Para vídeos longos, o rascunho usa um padrão de atenção esparsa que reduz um contexto de mais de 40.000 tokens para cerca de 1.600. Em sete benchmarks de imagem com modelos Qwen3.5, os ganhos médios de velocidade ficaram entre 3,00 e 3,05 com decodificação gulosa, de 10,3% a 10,9% acima do DFlash. Em três benchmarks de vídeo longo, um ajuste curto com 2.000 amostras trouxe ganhos de 2,33 a 2,71. Também funcionou com Gemma4-E4B e Qwen3.8-27B, com ganho de até 4,71 vezes no modelo maior.
Como o modelo grande confere cada token, a saída é idêntica à da decodificação normal. Isso torna o método uma otimização de baixo risco para equipes que servem modelos abertos como Qwen 3.8 27B ou Gemma 4 com SGLang ou vLLM, e o código e os rascunhos foram publicados.
O porém aparece sob carga. No SGLang, um benchmark com Qwen3.5-4B caiu de um ganho de 3,46 vezes com uma requisição para 1,61 vez com 32 simultâneas, porque um servidor ocupado já mantém o hardware em uso. O 3,58 do título é o melhor caso. O artigo é um preprint marcado como trabalho em andamento, os resultados são dos próprios autores, e o rascunho para vídeo continua mais difícil que para imagens.