Parâmetros do modelo
Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
Também chamado: parameter count, 7B, total vs active parameters
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Quando um modelo se chama Llama 7B ou Qwen 72B, o número é a sua contagem de parâmetros em bilhões. O lançamento original do LLaMA, da Meta, por exemplo, ia de 7B a 65B parâmetros.
O que o tamanho diz
Mais parâmetros geralmente significam mais capacidade de conhecimento e habilidade, mas os dados e o método de treinamento importam tanto quanto. O artigo do LLaMA relata que seu modelo de 13B superou o GPT-3 de 175B na maioria dos benchmarks. O tamanho é um guia aproximado, não um ranking.
Memória
A contagem de parâmetros define quanta memória um modelo precisa. Cada parâmetro é armazenado em uma precisão como 16 bits, 8 bits ou 4 bits, então a memória é aproximadamente o número de parâmetros vezes os bytes por parâmetro, mais espaço para o KV cache. A quantização para 4 bits reduz a memória dos pesos a cerca de um quarto do tamanho em 16 bits. A calculadora de GPU faz essa conta para você.
Parâmetros totais vs ativos
Em um modelo mixture of experts, só parte dos parâmetros roda para cada token. Um nome como 35B-A3B significa 35 bilhões de parâmetros no total e cerca de 3 bilhões ativos. Os parâmetros ativos definem a velocidade, mas todos eles ainda precisam caber na VRAM.
Termos relacionados
- Mixture of experts
- Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
- Pesos do modelo
- Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
- Precisão numérica (FP16, BF16, FP8)
- A precisão numérica é o formato de número usado para armazenar os pesos de um modelo e fazer seus cálculos, como FP32, FP16, BF16, FP8 ou INT4. Menos bits por número significam menos memória e inferência mais rápida, com algum risco para a acurácia.
- Modelo de linguagem pequeno
- Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.