Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

CPU offloading

CPU offloading (descarregamento para a CPU) roda um modelo que não cabe na memória da GPU mantendo algumas de suas camadas na RAM do sistema, ou em disco, e usando a GPU para o resto. O modelo roda, mas mais devagar.

Também chamado: offload layers, GPU offloading, partial offload

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Os pesos de um modelo normalmente ficam na VRAM. Quando um modelo é maior do que a sua GPU, o offloading coloca na GPU tantas camadas quantas couberem e o restante na RAM comum. É assim que as pessoas rodam LLMs locais grandes em um PC gamer.

Duas formas de fazer

No Hugging Face Accelerate e no Transformers, definir `device_map="auto"` enche primeiro a GPU, depois a CPU e por fim o disco. As camadas mantidas na RAM são movidas para a GPU quando necessário, o que funciona desde que a maior camada individual caiba na GPU.

No llama.cpp e em ferramentas construídas sobre ele, como Ollama e LM Studio, você escolhe quantas camadas vão para a GPU (a configuração "GPU layers"). As restantes são calculadas pela CPU diretamente a partir da RAM. Esse modo híbrido é o mais comum para modelos GGUF.

O custo

A RAM do sistema é muito mais lenta do que a VRAM, e mover dados pelo barramento PCIe é ainda mais lento. Cada camada descarregada reduz os tokens por segundo, às vezes de forma acentuada; o offload para disco é o mais lento de todos. O offloading serve mais para experimentar um modelo, ou para jobs em lote em que a velocidade pouco importa, do que para uso interativo.

Alternativas

Antes de recorrer ao offloading, experimente uma quantização menor, que encolhe todas as camadas. Modelos mixture-of-experts se dão bem com offload parcial, já que só alguns experts rodam por token. Máquinas com memória unificada evitam o problema porque a CPU e a GPU dividem um único conjunto de memória. A calculadora de GPU estima quanto de um modelo cabe na sua placa.

Termos relacionados

VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
Memória unificada
A memória unificada (unified memory) é um design em que a CPU e a GPU compartilham um único conjunto de memória em vez de cada uma ter o seu. Em Macs com Apple Silicon e chips parecidos, ela permite que um modelo de IA local use a maior parte da RAM do sistema como memória de GPU.
LLM local
Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
GGUF
GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.

Fontes