Mixture of experts
Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.
Também chamado: MoE, sparse model, active parameters, A3B
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
O MoE permite que um modelo tenha muito mais parâmetros do que usa para qualquer token isolado. Isso dá a capacidade de conhecimento de um modelo grande com o processamento por token de um bem menor.
Como funciona
Em um transformer, o bloco feed-forward de cada camada é substituído por um conjunto de especialistas mais um pequeno roteador, ou rede de gating. Para cada token, o roteador escolhe alguns especialistas, roda-os e combina suas saídas. A forma moderna vem de um artigo de 2017 de Shazeer e colegas sobre camadas MoE com gating esparso.
Parâmetros totais vs ativos
O Mixtral 8x7B da Mistral tem oito especialistas por camada, e o roteador escolhe dois por token. O artigo diz que cada token tem acesso a 47B parâmetros, mas usa apenas 13B parâmetros ativos. Os nomes dos modelos muitas vezes mostram os dois números: em um nome como Clover 35B-A3B, 35B é o total e A3B significa cerca de 3B ativos.
O porém
Os parâmetros ativos definem a velocidade, mas todos os especialistas ainda precisam ficar na memória. Um modelo MoE de 35B precisa de mais ou menos a mesma VRAM de um modelo denso de 35B, mesmo que gere tokens em uma velocidade mais próxima de um de 3B. Confira os números na calculadora de GPU.
Termos relacionados
- Parâmetros do modelo
- Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- Transformer (arquitetura)
- O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.