Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Mixture of experts

Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.

Também chamado: MoE, sparse model, active parameters, A3B

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O MoE permite que um modelo tenha muito mais parâmetros do que usa para qualquer token isolado. Isso dá a capacidade de conhecimento de um modelo grande com o processamento por token de um bem menor.

Como funciona

Em um transformer, o bloco feed-forward de cada camada é substituído por um conjunto de especialistas mais um pequeno roteador, ou rede de gating. Para cada token, o roteador escolhe alguns especialistas, roda-os e combina suas saídas. A forma moderna vem de um artigo de 2017 de Shazeer e colegas sobre camadas MoE com gating esparso.

Parâmetros totais vs ativos

O Mixtral 8x7B da Mistral tem oito especialistas por camada, e o roteador escolhe dois por token. O artigo diz que cada token tem acesso a 47B parâmetros, mas usa apenas 13B parâmetros ativos. Os nomes dos modelos muitas vezes mostram os dois números: em um nome como Clover 35B-A3B, 35B é o total e A3B significa cerca de 3B ativos.

O porém

Os parâmetros ativos definem a velocidade, mas todos os especialistas ainda precisam ficar na memória. Um modelo MoE de 35B precisa de mais ou menos a mesma VRAM de um modelo denso de 35B, mesmo que gere tokens em uma velocidade mais próxima de um de 3B. Confira os números na calculadora de GPU.

Termos relacionados

Parâmetros do modelo
Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
Grande modelo de linguagem
Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
Transformer (arquitetura)
O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.

Fontes