Mixture of experts
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.
Aussi appelé : MoE, sparse model, active parameters, A3B
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Le MoE permet à un modèle de contenir bien plus de paramètres qu'il n'en utilise pour un token donné. On obtient ainsi la capacité de connaissance d'un grand modèle avec le calcul par token d'un modèle bien plus petit.
Comment ça marche
Dans un transformer, le bloc feed-forward de chaque couche est remplacé par un ensemble d'experts et un petit routeur, ou réseau de gating. Pour chaque token, le routeur choisit quelques experts, les exécute et combine leurs sorties. La forme moderne remonte à un article de 2017 de Shazeer et ses collègues sur les couches MoE à gating parcimonieux.
Paramètres totaux et paramètres actifs
Mixtral 8x7B de Mistral a huit experts par couche, et le routeur en choisit deux par token. L'article indique que chaque token a accès à 47B paramètres mais n'utilise que 13B paramètres actifs. Les noms de modèles affichent souvent les deux nombres : dans un nom comme Clover 35B-A3B, 35B est le total et A3B signifie environ 3B actifs.
Le hic
Les paramètres actifs déterminent la vitesse, mais tous les experts doivent quand même tenir en mémoire. Un modèle MoE de 35B demande à peu près la VRAM d'un modèle dense de 35B, même s'il génère les tokens à une vitesse plus proche de celle d'un modèle de 3B. Vérifiez les chiffres dans le calculateur de GPU.
Termes liés
- Paramètres du modèle
- Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Grand modèle de langage
- Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
- Transformer (architecture)
- Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.