Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

G-STAR comprime tokens de imagem até 64x para imagens autorregressivas em 2,5 segundos

G-STAR, um preprint, mostra que, com orçamento fixo de informação, o tamanho dos grupos de tokens deve crescer com o quadrado do fator de compressão espacial. Isso permite compressão de 32x e, na prática, de 64x em modelos de imagem autorregressivos discretos. Em 1024x1024, relata aceleração de 20x sobre modelos autorregressivos discretos anteriores, cerca de 2,5 segundos por imagem numa NVIDIA H200, com resultados competitivos em cinco benchmarks.

Os geradores de imagem se dividem em duas grandes famílias. Modelos de difusão refinam a imagem inteira em paralelo ao longo de vários passos; modelos autorregressivos a escrevem token por token, como um modelo de linguagem escreve texto. A segunda abordagem é atraente porque pode compartilhar a arquitetura com modelos de chat, mas tem sido lenta, já que cada token a mais é outro passo sequencial. O G-STAR, preprint da Universidade de Pequim, da equipe Longcat da Meituan e de outros grupos, ataca esse problema de velocidade de frente.

A solução óbvia é comprimir mais a imagem para que haja menos tokens a gerar. O porém é que cada token passa a carregar mais informação, e códigos discretos perdem detalhe. O G-STAR representa cada token espacial com um grupo de códigos em vez de um só, e os autores mostram que, para manter o mesmo orçamento de informação, o tamanho do grupo deve crescer com o quadrado do fator de compressão por lado. Isso permite levar a compressão espacial a 32 vezes, e na prática a 64, bem além das 16 de costume. Um decodificador leve prevê em paralelo a maior parte de cada grupo e mantém só um último passo causal, então grupos maiores quase não acrescentam atraso.

A equipe treinou dois modelos, o GSTAR-Pro-8B com compressão de 32 vezes e o GSTAR-Flash-1.7B com 64 vezes. Em 1024 por 1024 pixels, relatam aceleração de 20 vezes em relação a modelos autorregressivos discretos anteriores, cerca de 2,5 segundos por imagem numa única Nvidia H200, com notas competitivas diante dos principais sistemas em cinco benchmarks de texto para imagem: GenEval, DPG-Bench, PRISM, LongText-Bench e Qwen-Image-Bench. Numa comparação controlada, passar de 32 para 64 vezes de compressão custou pouca qualidade, com o GenEval caindo de 0,8060 para 0,7885. Código e pesos estão no GitHub e no Hugging Face.

Isso importa para modelos unificados que entendem e geram imagens, um caminho que vários laboratórios seguem porque assim uma única rede pode ler uma imagem, raciocinar sobre ela e editá-la. A velocidade tem sido a barreira prática para levar esses sistemas a usuários que esperam uma imagem em segundos.

Leia as afirmações com cuidado. Ser competitivo não é o mesmo que liderar, e o ganho de 20 vezes é medido contra modelos autorregressivos antigos, não contra os sistemas de difusão mais rápidos usados hoje. Notas de qualidade de imagem só refletem em parte o que os usuários veem, e as comparações foram feitas pelos próprios autores. É um preprint sem revisão por pares, e a latência real vai depender de um hardware bem menos generoso que uma H200.

Nossa opinião: Modelos de imagem autorregressivos ficaram atrás da difusão sobretudo em velocidade, então um ganho de 20x encurta uma distância real. Competitivo não é liderar, porém, e a comparação é com modelos autorregressivos antigos, não com os sistemas de difusão mais rápidos.

Fonte: arXiv (Hugging Face Daily Papers)

Mais matérias