Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
Também chamado: quantized, 4-bit, Q4_K_M
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
A quantização é o principal motivo de modelos grandes caberem em GPUs de consumo e notebooks. Armazenar os pesos em 4 bits em vez de 16 reduz a memória deles a cerca de um quarto.
Como funciona
Cada peso é mapeado de um número de 16 bits para um conjunto menor de valores, com um fator de escala guardado por bloco de pesos para que eles possam ser reconstruídos de forma aproximada durante a inferência. Os métodos pós-treinamento fazem isso depois do treinamento, sem precisar treinar de novo. O GPTQ, publicado em 2022, quantiza modelos no estilo GPT para 3 ou 4 bits por peso com o que seus autores chamam de perda de acurácia desprezível.
Como ler os rótulos
No ecossistema GGUF em torno do llama.cpp, nomes como Q8_0, Q5_K_M e Q4_K_M descrevem o esquema. O número é aproximadamente a quantidade de bits por peso. K indica a família k-quant, e S, M ou L é uma mistura pequena, média ou grande que mantém algumas camadas sensíveis em precisão maior. O Q4_K_M é um equilíbrio popular entre tamanho e qualidade.
Prós e contras
Menos bits significam mais perda de qualidade. 8 bits costuma ficar perto do original, 4 bits é um ponto de equilíbrio comum, e abaixo disso a qualidade cai mais rápido, principalmente em modelos pequenos. A quantização reduz os pesos, mas não o KV cache, a menos que ele também seja quantizado. Dimensione sua configuração com a calculadora de GPU.
Termos relacionados
- GGUF
- GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Precisão numérica (FP16, BF16, FP8)
- A precisão numérica é o formato de número usado para armazenar os pesos de um modelo e fazer seus cálculos, como FP32, FP16, BF16, FP8 ou INT4. Menos bits por número significam menos memória e inferência mais rápida, com algum risco para a acurácia.
- Parâmetros do modelo
- Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
- LLM local
- Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.