Parámetros del modelo
Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
También llamado: parameter count, 7B, total vs active parameters
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Cuando un modelo se llama Llama 7B o Qwen 72B, la cifra es su número de parámetros en miles de millones. El lanzamiento original de LLaMA de Meta, por ejemplo, iba de 7B a 65B parámetros.
Qué indica el tamaño
Más parámetros suele significar más capacidad de conocimiento y habilidad, pero los datos y el método de entrenamiento importan igual. El artículo de LLaMA indica que su modelo de 13B superó a GPT-3 de 175B en la mayoría de los benchmarks. El tamaño es una guía aproximada, no una clasificación.
Memoria
El número de parámetros determina cuánta memoria necesita un modelo. Cada parámetro se guarda con una precisión como 16 bits, 8 bits o 4 bits, así que la memoria es aproximadamente los parámetros por los bytes por parámetro, más espacio para la KV cache. La cuantización a 4 bits reduce la memoria de los pesos a más o menos una cuarta parte del tamaño en 16 bits. La calculadora de GPU hace esta cuenta por ti.
Parámetros totales frente a activos
En un modelo mixture of experts, solo algunos parámetros se ejecutan para cada token. Un nombre como 35B-A3B significa 35 mil millones de parámetros totales y unos 3 mil millones activos. Los parámetros activos marcan la velocidad, pero todos tienen que caber en la VRAM.
Términos relacionados
- Mixture of experts
- La mixture of experts (MoE, mezcla de expertos) es un diseño de modelo en el que cada capa contiene varias subredes expertas y un router envía cada token solo a unas pocas, de modo que por cada token se ejecuta solo una parte del modelo.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- Pesos del modelo
- Los pesos del modelo (model weights) son los números aprendidos dentro de una red neuronal, fijados durante el entrenamiento, que deciden cómo convierte la entrada en salida. Un checkpoint es un archivo o conjunto de archivos guardado que contiene esos pesos.
- Precisión numérica (FP16, BF16, FP8)
- La precisión numérica es el formato de número que se usa para guardar los pesos de un modelo y hacer sus cálculos, como FP32, FP16, BF16, FP8 o INT4. Menos bits por número significa menos memoria e inferencia más rápida, con cierto riesgo para la precisión de los resultados.
- Modelo de lenguaje pequeño
- Un modelo de lenguaje pequeño (SLM, small language model) es un modelo de lenguaje con relativamente pocos parámetros, normalmente unos pocos miles de millones o menos, creado para funcionar en un portátil, un teléfono o una sola GPU a menor coste que un modelo grande.