Descarga a CPU
La descarga a CPU (CPU offloading) ejecuta un modelo que no cabe en la memoria de la GPU guardando parte de sus capas en la RAM del sistema, o en disco, y usando la GPU para el resto. El modelo funciona, pero más despacio.
También llamado: offload layers, GPU offloading, partial offload
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Los pesos de un modelo suelen estar en la VRAM. Cuando un modelo es más grande que tu GPU, la descarga coloca en la GPU tantas capas como quepan y el resto en la RAM normal. Así es como la gente ejecuta LLM locales grandes en un PC gaming.
Dos formas de hacerlo
En Hugging Face Accelerate y Transformers, el ajuste `device_map="auto"` llena primero la GPU, después la CPU y por último el disco. Las capas guardadas en RAM se mueven a la GPU cuando hacen falta, lo que funciona siempre que la capa individual más grande quepa en la GPU.
En llama.cpp y las herramientas basadas en él, como Ollama y LM Studio, eliges cuántas capas van a la GPU (el ajuste "GPU layers"). El resto las calcula la CPU directamente desde la RAM. Este modo híbrido es el habitual para los modelos GGUF.
El coste
La RAM del sistema es mucho más lenta que la VRAM, y mover datos por el bus PCIe es más lento todavía. Cada capa descargada reduce los tokens por segundo, a veces de forma drástica; la descarga a disco es la más lenta de todas. La descarga encaja más para probar un modelo, o para trabajos por lotes en los que la velocidad importa poco, que para el uso interactivo.
Alternativas
Antes de descargar, prueba una cuantización más pequeña, que reduce todas las capas. Los modelos mixture-of-experts encajan bien con la descarga parcial, ya que solo se ejecutan unos pocos expertos por token. Las máquinas con memoria unificada evitan el problema porque la CPU y la GPU comparten un único bloque. La calculadora de GPU estima qué parte de un modelo cabe en tu tarjeta.
Términos relacionados
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Memoria unificada
- La memoria unificada (unified memory) es un diseño en el que la CPU y la GPU comparten un único conjunto de memoria en lugar de tener cada una la suya. En los Mac con Apple Silicon y chips parecidos, permite que un modelo de IA local use la mayor parte de la RAM del sistema como memoria de GPU.
- LLM local
- Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- GGUF
- GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.