VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
También llamado: GPU memory
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Una GPU solo puede calcular rápido con datos que están en su propia memoria. Si un modelo no cabe, o no llega a cargarse o se desborda a la memoria del sistema, más lenta, mediante CPU offloading, lo que reduce mucho la velocidad. Por eso "¿cuánta VRAM necesito?" suele ser la primera pregunta cuando ejecutas un modelo por tu cuenta.
Qué usa la VRAM al ejecutar un modelo
Primero van los pesos: el número de parámetros por los bytes por parámetro. Una precisión menor o la cuantización reducen esto, por ejemplo de pesos de 16 bits a 4 bits. Después viene la KV cache, que crece con la longitud del contexto y el número de peticiones simultáneas. Un motor de serving también necesita algo de espacio de trabajo y sobrecarga.
El entrenamiento necesita más
El entrenamiento añade gradientes, estado del optimizador y activaciones guardadas además de los pesos. La guía de Hugging Face señala que Adam por sí solo añade 8 bytes por parámetro, y que el tamaño del lote o la longitud de la secuencia pueden agotar la memoria de la GPU aunque el modelo en sí quepa. Por eso existen métodos como LoRA y QLoRA.
Cómo estimarla
Nuestra calculadora de GPU estima la VRAM para un modelo, una precisión y una longitud de contexto dados. Deja margen en lugar de planificar llenar la tarjeta. Los Mac y algunos chips más nuevos usan memoria unificada, en la que la CPU y la GPU comparten un único conjunto, lo que les permite cargar modelos más grandes que la mayoría de las tarjetas gráficas de consumo, aunque a menor velocidad. Si nada de lo que tienes en local es lo bastante grande, alquila una tarjeta en una nube de GPU.
Términos relacionados
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- Parámetros del modelo
- Los parámetros del modelo (model parameters) son los números que una red neuronal aprende durante el entrenamiento, sobre todo pesos. El número de parámetros, escrito como 7B para siete mil millones, es la forma abreviada habitual de indicar el tamaño de un modelo.
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- GPU
- Una GPU (unidad de procesamiento gráfico) es un procesador con muchos núcleos pequeños diseñado para ejecutar muchos cálculos en paralelo. Su velocidad con las operaciones de matrices la convierte en el hardware estándar para entrenar y ejecutar modelos de IA.
- Memoria unificada
- La memoria unificada (unified memory) es un diseño en el que la CPU y la GPU comparten un único conjunto de memoria en lugar de tener cada una la suya. En los Mac con Apple Silicon y chips parecidos, permite que un modelo de IA local use la mayor parte de la RAM del sistema como memoria de GPU.
- LLM local
- Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.