Qu’est-ce que Clover-35B-A3B-Preview ?
Clover-35B-A3B-Preview est le premier modèle de DiffuSpace, un laboratoire dont l'équipe vient du modèle à diffusion Dream 7B de HKU NLP. Publié fin octobre 2026, il convertit le modèle mixture-of-experts Qwen3.6-35B-A3B d'Alibaba, 35 milliards de paramètres dont environ 3 milliards actifs, en modèle à diffusion par blocs : au lieu d'écrire un token à la fois, il remplit des blocs de 32 tokens en résolvant en parallèle les positions dont il est sûr.
Pour cela, il ajoute aux couches Gated DeltaNet de Qwen une attention bidirectionnelle à l'intérieur de chaque bloc, et peut restreindre chaque bloc à un sous-ensemble partagé d'experts. Il conserve un mode de réflexion et un contexte de 128K tokens, et ne traite que du texte.
Les poids sont sous Apache 2.0, licence héritée de Qwen. Le code Hugging Face est une voie de référence ; DiffuSpace recommande sa propre version de SGLang pour le service, et fournit aussi une prise en charge de llama.cpp.
Combien coûte Clover-35B-A3B-Preview ?
| Offre | Prix | Ce qui est inclus |
|---|---|---|
| Weights | Free | Apache 2.0 |
| Hosted API | Not offered |
Poids ouverts sous Apache 2.0 ; pas d'API hébergée.
Clover-35B-A3B-Preview vaut-il le coup ?
L'intérêt de Clover tient à sa méthode : il montre qu'un modèle mixture-of-experts autorégressif existant peut être converti au décodage parallèle par blocs en gardant l'essentiel de ses capacités. DiffuSpace annonce 73,6 sur SWE-bench Verified, 51,7 sur Terminal-Bench 2.1, 83,8 sur GPQA Diamond et 84,8 sur MMLU-Pro, et affirme battre les modèles à diffusion LLaDA2.2 flash et Mercury 2.5 ainsi que l'autorégressif Qwen3.6-35B-A3B sur les six tests d'agents. Les chiffres des concurrents n'apparaissent que dans des images de graphiques, et rien n'a été mesuré de façon indépendante.
L'argument de la vitesse, qui est la raison d'être de la diffusion, est moins spectaculaire que l'architecture ne le laisse penser. Sur une H200, DiffuSpace a mesuré 515 tokens par seconde contre 365 pour Qwen avec le décodage spéculatif DFlash2, soit environ 1,4 fois plus vite. Sur une RTX 5070 Ti de 16GB en INT4, il annonce 101,8 tokens par seconde contre 48,5 pour des modèles similaires. Un chiffre de 680 tokens par seconde sur une GB300 n'a pas de point de comparaison. Il n'existe pas de comparaison directe avec le décodage autorégressif simple du même modèle.
La fiche du modèle est franche sur ses défauts. Les générations longues peuvent devenir répétitives, si bien que les réglages par défaut incluent des pénalités de présence et de répétition et des biais progressifs qui poussent le modèle à terminer sa réflexion après 4 096 tokens et sa réponse après 8 192. La voie Hugging Face et les kernels SGLang de DiffuSpace peuvent produire des textes différents avec les mêmes réglages, et le BF16 demande environ 69GB de mémoire GPU. Le faible 14,4 sur tau-cubed Banking rappelle que les longues tâches à plusieurs tours restent le point faible des modèles à diffusion.
Pour les équipes qui se demandent si le décodage par diffusion deviendra praticable pour les agents, Clover est le modèle ouvert à étudier. Pour la production, la même base Qwen3.6 avec décodage spéculatif obtient l'essentiel de la vitesse sans aucun des risques d'une préversion.
Là où il fait la différence
Un ingénieur d'inférence dans une start-up d'infrastructure IA
Mesurer si la diffusion par blocs bat le décodage spéculatif sur ses propres charges de travail
Servez Clover avec la version SGLang de DiffuSpace à côté de Qwen3.6-35B-A3B avec DFlash2 sur la même H200, et comparez les tokens par seconde et le taux de réussite des tâches ; l'écart mesuré par DiffuSpace est d'environ 1,4 fois.
Un développeur amateur équipé d'une RTX 5070 Ti de 16GB
Faire tourner en local un modèle de raisonnement capable à une vitesse utilisable
DiffuSpace annonce 101,8 tokens par seconde en INT4 sur cette carte. Prévoyez d'ajuster max_new_tokens, car les réglages par défaut poussent les longues réponses à se conclure après 8 192 tokens.
Un groupe universitaire de TAL
Étudier la conversion de modèles autorégressifs en modèles à diffusion
La fiche documente les paramètres bidirectionnels ajoutés à Gated DeltaNet, le décodeur à seuil de confiance (bloc 32, seuil 0.95) et la sélection d'experts par bloc, avec une attribution à Qwen fichier par fichier.
Avant de vous engager
- Mise en route
- Transformers 5.19.0 avec trust_remote_code sur un GPU disposant d'environ 69GB libres pour le BF16 ; pour le service, l'implémentation SGLang de DiffuSpace depuis son dépôt GitHub.
- Intégrations
- Hugging Face Transformers, et les forks SGLang et llama.cpp de DiffuSpace avec autodécodage spéculatif ; modèle de chat de type Qwen avec enable_thinking.
- Données et confidentialité
- Apache 2.0, héritée de Qwen3.6-35B-A3B, avec le copyright d'origine préservé ; auto-hébergement uniquement.
- Coût à grande échelle
- Un H100 ou H200 de 80GB pour le BF16 ; l'INT4 tourne sur un GPU grand public de 16GB selon les tests de DiffuSpace.
- Limites
- 128K tokens pour le prompt et la sortie ensemble, espace du dernier bloc compris ; répétitions sur les sorties très longues ; qualité de préversion ; texte uniquement.
Les points forts
- 73,6 annoncé sur SWE-bench Verified, loin devant les autres modèles à diffusion ouverts dans les tests de DiffuSpace
- Environ 1,4 fois Qwen avec DFlash2 sur une H200, selon DiffuSpace
- Apache 2.0, avec des implémentations SGLang et llama.cpp
- Conserve un contexte de 128K et le mode de réflexion
Les points faibles
- Préversion ; tous les résultats sont autodéclarés, les scores des concurrents seulement en images
- Les sorties longues peuvent se répéter ; repose sur des pénalités intégrées
- Environ 69GB en BF16 ; les sorties de Transformers et de SGLang diffèrent
- Un faible 14,4 sur tau-cubed Banking
Idéal pour
Les chercheurs et ingénieurs d'inférence qui évaluent le décodage par diffusion sur un modèle MoE moderne avant qu'il n'atteigne une qualité de production.
Alternatives à Clover-35B-A3B-Preview
Clover-35B-A3B-Preview : questions fréquentes
- Clover-35B-A3B-Preview vaut-il le coup ?
- Selon les chiffres de ses concepteurs, Clover est le modèle de langage à diffusion ouvert le plus performant à ce jour, mais en tant que préversion, avec des gains de vitesse modestes et sans tests externes, il s'adresse aux expérimentateurs. Nous lui donnons 3.6 sur 5.
- Combien coûte Clover-35B-A3B-Preview ?
- Poids ouverts sous Apache 2.0 ; pas d'API hébergée.
- Quels sont les inconvénients de Clover-35B-A3B-Preview ?
- Préversion ; tous les résultats sont autodéclarés, les scores des concurrents seulement en images; les sorties longues peuvent se répéter ; repose sur des pénalités intégrées; environ 69GB en BF16 ; les sorties de Transformers et de SGLang diffèrent; un faible 14,4 sur tau-cubed Banking.
- À qui s’adresse Clover-35B-A3B-Preview ?
- Les chercheurs et ingénieurs d'inférence qui évaluent le décodage par diffusion sur un modèle MoE moderne avant qu'il n'atteigne une qualité de production.
- Combien coûte Clover-35B-A3B-Preview pour une équipe ou en production ?
- Un H100 ou H200 de 80GB pour le BF16 ; l'INT4 tourne sur un GPU grand public de 16GB selon les tests de DiffuSpace.
- Clover-35B-A3B-Preview est-il sûr pour les données de l’entreprise ?
- Apache 2.0, héritée de Qwen3.6-35B-A3B, avec le copyright d'origine préservé ; auto-hébergement uniquement.
- Quelles sont les meilleures alternatives à Clover-35B-A3B-Preview ?
- Les alternatives les plus proches que nous avons testées sont Qwen3.8-Flash-Next et Nanbeige4.3-33B.
Réponses vérifiées le 31 oct. 2026.