Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

MMFlash acelera em até 3,58 vezes modelos de visão e linguagem com a mesma saída

O MMFlash, preprint da National University of Singapore, adapta a decodificação especulativa baseada em difusão a modelos que leem imagens e vídeo. Os autores viram que tokens de rascunho muito dependentes da imagem eram aceitos só 22% das vezes, contra 46% dos menos visuais, então o treinamento dá mais peso a eles. Os ganhos de velocidade sem perda chegam a 3,58 vezes, à frente de EAGLE-3 e DFlash.

Modelos de visão e linguagem são lentos pelo mesmo motivo que os chatbots: escrevem um token por vez. A decodificação especulativa acelera isso deixando um pequeno modelo de rascunho adivinhar vários tokens à frente enquanto o modelo grande os confere numa só passagem, ficando só com os que aprova. O MMFlash, preprint da National University of Singapore, faz isso funcionar melhor quando o modelo lê imagens e vídeo.

A equipe partiu do DFlash, um rascunho recente que usa difusão em blocos para propor um bloco inteiro de tokens numa passagem. Ela mediu quanto cada token depende da imagem comparando as previsões do modelo com e sem ela. O resultado foi claro: os tokens de rascunho com menor dependência visual eram aceitos 46% das vezes, e os mais visuais só 22%. O quarto mais visual causava 44% das primeiras rejeições num bloco de rascunho. Treinar com dados multimodais não fechou a diferença.

A solução do MMFlash é dar mais peso no treinamento aos tokens visuais que o rascunho ainda prevê mal, diminuindo esse peso conforme ele melhora. Para vídeos longos, o rascunho usa um padrão de atenção esparsa que reduz um contexto de mais de 40.000 tokens para cerca de 1.600. Em sete benchmarks de imagem com modelos Qwen3.5, os ganhos médios de velocidade ficaram entre 3,00 e 3,05 com decodificação gulosa, de 10,3% a 10,9% acima do DFlash. Em três benchmarks de vídeo longo, um ajuste curto com 2.000 amostras trouxe ganhos de 2,33 a 2,71. Também funcionou com Gemma4-E4B e Qwen3.8-27B, com ganho de até 4,71 vezes no modelo maior.

Como o modelo grande confere cada token, a saída é idêntica à da decodificação normal. Isso torna o método uma otimização de baixo risco para equipes que servem modelos abertos como Qwen 3.8 27B ou Gemma 4 com SGLang ou vLLM, e o código e os rascunhos foram publicados.

O porém aparece sob carga. No SGLang, um benchmark com Qwen3.5-4B caiu de um ganho de 3,46 vezes com uma requisição para 1,61 vez com 32 simultâneas, porque um servidor ocupado já mantém o hardware em uso. O 3,58 do título é o melhor caso. O artigo é um preprint marcado como trabalho em andamento, os resultados são dos próprios autores, e o rascunho para vídeo continua mais difícil que para imagens.

Nossa opinião: Para quem serve modelos de visão do Qwen ou do Gemma, é um ganho barato, já que a saída não muda. Os resultados são dos próprios autores, e o ganho cai muito conforme mais requisições rodam ao mesmo tempo, que é como a maioria dos servidores em produção funciona.

Nossas análises:Qwen3.8-27BGemma 4

Fonte: arXiv (Hugging Face Daily Papers)

Mais matérias