Les générateurs d'images se répartissent en deux grandes familles. Les modèles de diffusion affinent toute l'image en parallèle sur plusieurs étapes ; les modèles autorégressifs l'écrivent token par token, comme un modèle de langage écrit du texte. La seconde approche séduit parce qu'elle peut partager une architecture avec les modèles de chat, mais elle a été lente, chaque token supplémentaire ajoutant une étape séquentielle. G-STAR, un preprint de l'université de Pékin, de l'équipe Longcat de Meituan et de plusieurs autres groupes, s'attaque directement à ce problème de vitesse.
La solution évidente consiste à compresser davantage l'image pour avoir moins de tokens à générer. Le hic : chaque token doit alors porter plus d'information, et les codes discrets perdent du détail. G-STAR représente chaque token spatial par un groupe de codes plutôt qu'un seul, et les auteurs montrent qu'à budget d'information constant, la taille du groupe doit croître avec le carré du facteur de compression par côté. Cela leur permet de pousser la compression spatiale à 32 fois, et en pratique à 64, bien au-delà des 16 habituels. Un décodeur léger prédit en parallèle l'essentiel de chaque groupe et ne garde qu'une dernière étape causale, si bien que des groupes plus grands ajoutent peu de délai.
L'équipe a entraîné deux modèles, GSTAR-Pro-8B à une compression de 32 fois et GSTAR-Flash-1.7B à 64 fois. En 1024 sur 1024 pixels, ils annoncent une accélération d'un facteur 20 par rapport aux modèles autorégressifs discrets antérieurs, soit environ 2,5 secondes par image sur une seule Nvidia H200, avec des scores compétitifs face aux meilleurs systèmes sur cinq benchmarks texte-image : GenEval, DPG-Bench, PRISM, LongText-Bench et Qwen-Image-Bench. Dans une comparaison contrôlée, passer de 32 à 64 fois de compression n'a coûté que peu de qualité, GenEval reculant de 0,8060 à 0,7885. Le code et les poids sont sur GitHub et Hugging Face.
C'est important pour les modèles unifiés qui comprennent et génèrent des images, une voie que plusieurs laboratoires explorent car un seul réseau peut alors lire une image, raisonner dessus et la modifier. La vitesse était l'obstacle pratique pour proposer ces systèmes à des utilisateurs qui attendent une image en quelques secondes.
Il faut lire les annonces avec soin. Compétitif ne veut pas dire en tête, et le gain d'un facteur 20 est mesuré face à d'anciens modèles autorégressifs, pas face aux systèmes de diffusion les plus rapides utilisés aujourd'hui. Les scores de qualité d'image ne reflètent qu'en partie ce que voient les utilisateurs, et les comparaisons ont été menées par les auteurs. Il s'agit d'un preprint non relu par des pairs, et la latence réelle dépendra d'un matériel bien moins généreux qu'une H200.