Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Cuantización

La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.

También llamado: quantized, 4-bit, Q4_K_M

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

La cuantización es la razón principal de que los modelos grandes quepan en GPU de consumo y portátiles. Guardar los pesos en 4 bits en lugar de 16 reduce su memoria a más o menos una cuarta parte.

Cómo funciona

Cada peso se convierte de un número de 16 bits a un conjunto más pequeño de valores, con un factor de escala guardado por cada bloque de pesos para poder reconstruirlos de forma aproximada durante la inferencia. Los métodos post-entrenamiento lo hacen después del entrenamiento, sin necesidad de reentrenar. GPTQ, publicado en 2022, cuantiza modelos tipo GPT a 3 o 4 bits por peso con lo que sus autores llaman una pérdida de precisión insignificante.

Cómo leer las etiquetas

En el ecosistema GGUF en torno a llama.cpp, nombres como Q8_0, Q5_K_M y Q4_K_M describen el esquema. La cifra es aproximadamente los bits por peso. K indica la familia k-quant, y S, M o L es una mezcla pequeña, mediana o grande que mantiene algunas capas sensibles con mayor precisión. Q4_K_M es un equilibrio popular entre tamaño y calidad.

Contrapartidas

Menos bits significa más pérdida de calidad. 8 bits suele quedar cerca del original, 4 bits es un punto óptimo habitual, y por debajo la calidad cae más rápido, sobre todo en modelos pequeños. La cuantización reduce los pesos pero no la KV cache, salvo que también se cuantice. Dimensiona tu configuración con la calculadora de GPU.

Términos relacionados

GGUF
GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
Precisión numérica (FP16, BF16, FP8)
La precisión numérica es el formato de número que se usa para guardar los pesos de un modelo y hacer sus cálculos, como FP32, FP16, BF16, FP8 o INT4. Menos bits por número significa menos memoria e inferencia más rápida, con cierto riesgo para la precisión de los resultados.
Parámetros del modelo
Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
LLM local
Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.

Fuentes