Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Mixture of experts

La mixture of experts (MoE, mezcla de expertos) es un diseño de modelo en el que cada capa contiene varias subredes expertas y un router envía cada token solo a unas pocas, de modo que por cada token se ejecuta solo una parte del modelo.

También llamado: MoE, sparse model, active parameters, A3B

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

MoE permite que un modelo tenga muchos más parámetros de los que usa para cada token. Eso da la capacidad de conocimiento de un modelo grande con el cómputo por token de uno mucho más pequeño.

Cómo funciona

En un transformer, el bloque feed-forward de cada capa se sustituye por un conjunto de expertos más un pequeño router, o red de compuerta. Para cada token, el router elige unos pocos expertos, los ejecuta y combina sus salidas. La forma moderna se remonta a un artículo de 2017 de Shazeer y colaboradores sobre capas MoE con compuertas dispersas.

Parámetros totales frente a activos

Mixtral 8x7B de Mistral tiene ocho expertos por capa y el router elige dos por token. El artículo indica que cada token tiene acceso a 47B parámetros pero solo usa 13B parámetros activos. Los nombres de los modelos suelen mostrar ambas cifras: en un nombre como Clover 35B-A3B, 35B es el total y A3B significa unos 3B activos.

La pega

Los parámetros activos marcan la velocidad, pero todos los expertos tienen que estar en memoria. Un modelo MoE de 35B necesita aproximadamente la VRAM de un modelo denso de 35B, aunque genere tokens a una velocidad más cercana a la de uno de 3B. Comprueba las cifras en la calculadora de GPU.

Términos relacionados

Parámetros del modelo
Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
Modelo de lenguaje grande
Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
Transformer (arquitectura)
El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
Cuantización
La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.

Fuentes