CPU offloading
CPU offloading (descarregamento para a CPU) roda um modelo que não cabe na memória da GPU mantendo algumas de suas camadas na RAM do sistema, ou em disco, e usando a GPU para o resto. O modelo roda, mas mais devagar.
Também chamado: offload layers, GPU offloading, partial offload
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Os pesos de um modelo normalmente ficam na VRAM. Quando um modelo é maior do que a sua GPU, o offloading coloca na GPU tantas camadas quantas couberem e o restante na RAM comum. É assim que as pessoas rodam LLMs locais grandes em um PC gamer.
Duas formas de fazer
No Hugging Face Accelerate e no Transformers, definir `device_map="auto"` enche primeiro a GPU, depois a CPU e por fim o disco. As camadas mantidas na RAM são movidas para a GPU quando necessário, o que funciona desde que a maior camada individual caiba na GPU.
No llama.cpp e em ferramentas construídas sobre ele, como Ollama e LM Studio, você escolhe quantas camadas vão para a GPU (a configuração "GPU layers"). As restantes são calculadas pela CPU diretamente a partir da RAM. Esse modo híbrido é o mais comum para modelos GGUF.
O custo
A RAM do sistema é muito mais lenta do que a VRAM, e mover dados pelo barramento PCIe é ainda mais lento. Cada camada descarregada reduz os tokens por segundo, às vezes de forma acentuada; o offload para disco é o mais lento de todos. O offloading serve mais para experimentar um modelo, ou para jobs em lote em que a velocidade pouco importa, do que para uso interativo.
Alternativas
Antes de recorrer ao offloading, experimente uma quantização menor, que encolhe todas as camadas. Modelos mixture-of-experts se dão bem com offload parcial, já que só alguns experts rodam por token. Máquinas com memória unificada evitam o problema porque a CPU e a GPU dividem um único conjunto de memória. A calculadora de GPU estima quanto de um modelo cabe na sua placa.
Termos relacionados
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Memória unificada
- A memória unificada (unified memory) é um design em que a CPU e a GPU compartilham um único conjunto de memória em vez de cada uma ter o seu. Em Macs com Apple Silicon e chips parecidos, ela permite que um modelo de IA local use a maior parte da RAM do sistema como memória de GPU.
- LLM local
- Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
- GGUF
- GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.