Cuantización
La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
También llamado: quantized, 4-bit, Q4_K_M
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La cuantización es la razón principal de que los modelos grandes quepan en GPU de consumo y portátiles. Guardar los pesos en 4 bits en lugar de 16 reduce su memoria a más o menos una cuarta parte.
Cómo funciona
Cada peso se convierte de un número de 16 bits a un conjunto más pequeño de valores, con un factor de escala guardado por cada bloque de pesos para poder reconstruirlos de forma aproximada durante la inferencia. Los métodos post-entrenamiento lo hacen después del entrenamiento, sin necesidad de reentrenar. GPTQ, publicado en 2022, cuantiza modelos tipo GPT a 3 o 4 bits por peso con lo que sus autores llaman una pérdida de precisión insignificante.
Cómo leer las etiquetas
En el ecosistema GGUF en torno a llama.cpp, nombres como Q8_0, Q5_K_M y Q4_K_M describen el esquema. La cifra es aproximadamente los bits por peso. K indica la familia k-quant, y S, M o L es una mezcla pequeña, mediana o grande que mantiene algunas capas sensibles con mayor precisión. Q4_K_M es un equilibrio popular entre tamaño y calidad.
Contrapartidas
Menos bits significa más pérdida de calidad. 8 bits suele quedar cerca del original, 4 bits es un punto óptimo habitual, y por debajo la calidad cae más rápido, sobre todo en modelos pequeños. La cuantización reduce los pesos pero no la KV cache, salvo que también se cuantice. Dimensiona tu configuración con la calculadora de GPU.
Términos relacionados
- GGUF
- GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Precisión numérica (FP16, BF16, FP8)
- La precisión numérica es el formato de número que se usa para guardar los pesos de un modelo y hacer sus cálculos, como FP32, FP16, BF16, FP8 o INT4. Menos bits por número significa menos memoria e inferencia más rápida, con cierto riesgo para la precisión de los resultados.
- Parámetros del modelo
- Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
- LLM local
- Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.