GGUF
GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
También llamado: GGUF file
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Si descargas un modelo para ejecutarlo en local, verás a menudo archivos que terminan en .gguf. El formato procede del proyecto GGML, la biblioteca de tensores que hay detrás de llama.cpp, y es el formato que usan Ollama y LM Studio.
Qué contiene
Un archivo GGUF guarda los tensores del modelo más metadatos de clave y valor: la arquitectura, el tokenizador, la longitud de contexto y los detalles de cuantización. La especificación incluye entre sus objetivos el despliegue en un solo archivo, para que el modelo se cargue sin archivos de configuración adicionales. Los modelos suelen entrenarse en PyTorch y convertirse después a GGUF.
GGUF y cuantización
GGUF puede guardar pesos a precisión completa, pero la mayoría de las descargas GGUF están cuantizadas. Un modelo se publica a menudo en varios archivos, como Q8_0, Q5_K_M y Q4_K_M, cada uno con un equilibrio distinto entre tamaño y calidad. Elige el más grande que quepa en tu memoria dejando espacio para el contexto. La calculadora de GPU ayuda con esto.
GGUF frente a safetensors
Safetensors es el formato habitual para pesos a precisión completa en Hugging Face, usado por bibliotecas de Python y servidores de GPU como vLLM. GGUF apunta a la inferencia local, apta para CPU y para Apple Silicon. Los dos sirven a entornos de ejecución distintos, y hay scripts de conversión que pasan los modelos de uno a otro.
Términos relacionados
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- Safetensors
- Safetensors es un formato de archivo de Hugging Face para guardar pesos de modelos. A diferencia de los archivos pickle de Python, cargarlo no puede ejecutar código oculto, y permite una carga rápida de tensores individuales mediante mapeo en memoria.
- LLM local
- Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.
- Pesos del modelo
- Los pesos del modelo (model weights) son los números aprendidos dentro de una red neuronal, fijados durante el entrenamiento, que deciden cómo convierte la entrada en salida. Un checkpoint es un archivo o conjunto de archivos guardado que contiene esos pesos.
- Self-hosting (modelos de IA)
- Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.