Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Requisitos de GPU do Llama 3.2 1B Instruct: VRAM e GPU mais barata

Llama 3.2 1B Instruct tem 1,2 bi parâmetros, publicados em BF16. Aceita até 128K tokens de contexto. Nesse tamanho, só o cache KV ocupa cerca de 4,3 GB por requisição, então prompts longos podem mudar a GPU necessária. A licença (llama3.2) traz termos próprios; leia antes de usar o modelo comercialmente.

Parâmetros
1,2 bi
Menor consumo (INT4)
cerca de 2 GB
GPU mais barata por hora (FP16)
US$ 0,16
Tipo
Texto

meta-llama/Llama-3.2-1B-Instruct

Ver no Hugging Face (abre em nova aba)

  • Parâmetros 1,2 bi
  • Tipo Texto
  • Tarefa text-generation
  • Contexto máximo 128K
  • Licença llama3.2
  • Downloads 1,3 mi
  • Curtidas 2 mil

Cálculo para Llama 3.2 1B Instruct

Precisão
Uso
Mais ajustes
Motor de inferência
Requisições simultâneas

Llama 3.2 1B Instruct precisa de cerca de 4 GB de memória de GPU

Inferência (vLLM), FP16 / BF16, contexto de 8K tokens, uma requisição por vez.

Para onde vai a memória

  • Pesos 2,5 GB
  • Cache KV 0,27 GB
  • Sobrecarga do runtime 1,3 GB
  • Total 4 GB

A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.

GPUs que comportam, da mais barata à mais caraCada tipo de GPU acompanhado que comporta esta configuração em um nó, ordenado pelo custo total por hora
PosiçãoConfiguraçãoPor GPU / hGPUs necessáriasTotal / hTotal / mês (24/7)Provedor
11 × RTX 3090 24GBMais barataAmpere · GDDR6XUS$ 0,161US$ 0,16US$ 117Lium (abre em nova aba)1x RTX 3090 Ti
21 × RTX 4090 24GBAda Lovelace · GDDR6XUS$ 0,301US$ 0,30US$ 219Lium (abre em nova aba)1x RTX 4090
31 × RTX 5090 32GBBlackwell · GDDR7US$ 0,401US$ 0,40US$ 292Lium (abre em nova aba)1x RTX 5090
41 × RTX A6000 48GBAmpere · GDDR6US$ 0,421US$ 0,42US$ 307Lium (abre em nova aba)1x RTX A6000
51 × L4 24GBAda Lovelace · GDDR6US$ 0,451US$ 0,45US$ 326Vast.ai (abre em nova aba)1x L4 (median of 3 offers)
61 × RTX PRO 6000 96GBBlackwell · GDDR7US$ 0,501US$ 0,50US$ 365RunPod (abre em nova aba)1x RTX PRO 6000 MaxQ
71 × A40 48GBAmpere · GDDR6US$ 0,521US$ 0,52US$ 381Vast.ai (abre em nova aba)1x A40 (median of 5 offers)
81 × T4 16GBTuring · GDDR6US$ 0,531US$ 0,53US$ 384AWS (abre em nova aba)g4dn.xlarge
91 × RTX 6000 Ada 48GBAda Lovelace · GDDR6US$ 0,751US$ 0,75US$ 548Lium (abre em nova aba)1x RTX 6000 Ada Generation
101 × L40S 48GBAda Lovelace · GDDR6US$ 0,801US$ 0,80US$ 585Vast.ai (abre em nova aba)1x L40S (median of 7 offers)
111 × A100 40GBAmpere · HBM2US$ 0,801US$ 0,80US$ 586Vast.ai (abre em nova aba)1x A100 SXM4 (median of 15 offers)
121 × A10 24GBAmpere · GDDR6US$ 1,011US$ 1,01US$ 734AWS (abre em nova aba)g5.xlarge
131 × A100 80GBAmpere · HBM2eUS$ 1,121US$ 1,12US$ 820Vast.ai (abre em nova aba)1x A100 SXM4 (median of 16 offers)
141 × H100 80GBHopper · HBM3US$ 1,391US$ 1,39US$ 1.015Lium (abre em nova aba)1x H100 80GB HBM3
151 × GH200 96GBHopper · HBM3US$ 1,991US$ 1,99US$ 1.453Vultr (abre em nova aba)vbm-72c-480gb-gh200-gpu (bare metal)
161 × MI300X 192GBCDNA 3 · HBM3US$ 2,391US$ 2,39US$ 1.745RunPod (abre em nova aba)1x MI300X
171 × H200 141GBHopper · HBM3eUS$ 2,901US$ 2,90US$ 2.117Lium (abre em nova aba)1x H200 NVL
181 × V100 16GBVolta · HBM2US$ 3,061US$ 3,06US$ 2.234AWS (abre em nova aba)p3.2xlarge
191 × H100 NVL 94GBHopper · HBM3US$ 3,191US$ 3,19US$ 2.329RunPod (abre em nova aba)1x H100 NVL
201 × B200 180GBBlackwell · HBM3eUS$ 5,601US$ 5,60US$ 4.088Lium (abre em nova aba)1x B200
211 × B300 288GBBlackwell Ultra · HBM3eUS$ 8,001US$ 8,00US$ 5.840Lium (abre em nova aba)1x B300 SXM6
221 × GB200 186GBBlackwell · HBM3eUS$ 10,501vendida com 4 GPUs; você precisa de 1US$ 42,00US$ 30.660CoreWeave (abre em nova aba)GB200 NVL72
Custo por nuvemOferta mais barata que comporta, por provedor. Aproximado, preços coletados em 16 de nov. de 2026.
ProvedorInstânciaPor GPU / hGPUs necessáriasTotal / hTotal / mês (24/7)
Lium (abre em nova aba)Mais barata1x RTX 3090 Timarketplace globalUS$ 0,161 × RTX 3090 24GB cerca de US$ 0,16cerca de US$ 117
Vast.ai (abre em nova aba)1x RTX 3090 (median of 32 offers)marketplace globalUS$ 0,261 × RTX 3090 24GB cerca de US$ 0,26cerca de US$ 186
RunPod (abre em nova aba)1x RTX 3090 TiusUS$ 0,461 × RTX 3090 24GB cerca de US$ 0,46cerca de US$ 336
AWS (abre em nova aba)g4dn.xlargeus-east-1US$ 0,531 × T4 16GB cerca de US$ 0,53cerca de US$ 384
Azure (abre em nova aba)NC4as_T4_v3eastusUS$ 0,531 × T4 16GB cerca de US$ 0,53cerca de US$ 384
Google Cloud (abre em nova aba)g2-standard-4us-central1US$ 0,711 × L4 24GB cerca de US$ 0,71cerca de US$ 516
Lambda (abre em nova aba)1x A6000usUS$ 1,091 × RTX A6000 48GB cerca de US$ 1,09cerca de US$ 796
Nebius (abre em nova aba)1x L40S 48GBeu/usUS$ 1,551 × L40S 48GB cerca de US$ 1,55cerca de US$ 1.132
Vultr (abre em nova aba)vcg-l40s-16c-180g-48vramusUS$ 1,671 × L40S 48GB cerca de US$ 1,67cerca de US$ 1.220
CoreWeave (abre em nova aba)GH200usUS$ 6,501 × GH200 96GB cerca de US$ 6,50cerca de US$ 4.745

Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).

Memória por precisão e uso

Com contexto de 8K tokens e uma requisição por vez. LoRA e o ajuste completo partem de pesos de 16 bits e o QLoRA de 4 bits, por isso as outras células ficam vazias.
PrecisãoInferênciaAjuste LoRAAjuste QLoRAAjuste completo
FP16 / BF164 GB5,4 GB–24 GB
INT82,7 GB–––
INT42 GB–3,4 GB–

A GPU mais barata por precisão

Inferência com contexto de 8K e uma requisição por vez.

FP16 / BF16

cerca de 4 GB · 8K tokens

Os pesos como foram publicados. Sem perda, mas com o maior consumo.

1 × RTX 3090 24GB

Lium (abre em nova aba) · 1x RTX 3090 Ti

Por GPU / h
US$ 0,16
GPUs necessárias
1
Total / h
cerca de US$ 0,16
por mês, 24/7, aprox.
US$ 117

INT8

cerca de 2,7 GB · 8K tokens

Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.

1 × RTX 3090 24GB

Lium (abre em nova aba) · 1x RTX 3090 Ti

Por GPU / h
US$ 0,16
GPUs necessárias
1
Total / h
cerca de US$ 0,16
por mês, 24/7, aprox.
US$ 117

INT4

cerca de 2 GB · 8K tokens

Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.

1 × RTX 3090 24GB

Lium (abre em nova aba) · 1x RTX 3090 Ti

Por GPU / h
US$ 0,16
GPUs necessárias
1
Total / h
cerca de US$ 0,16
por mês, 24/7, aprox.
US$ 117

Inferência ou ajuste fino

  • Inferência (FP16)

    1×

    da memória da inferência

    4 GB

    1 × RTX 3090 24GB · cerca de US$ 0,16

  • Ajuste LoRA

    1,3×

    da memória da inferência

    5,4 GB

    1 × RTX 3090 24GB · cerca de US$ 0,16

  • Ajuste QLoRA

    0,8×

    da memória da inferência

    3,4 GB

    1 × RTX 3090 24GB · cerca de US$ 0,16

  • Ajuste completo

    6×

    da memória da inferência

    24 GB

    1 × RTX 5090 32GB · cerca de US$ 0,40

Para servi-lo em FP16 basta 1 × RTX 3090 24GB (Lium). LoRA precisa de 1 × RTX 3090 24GB (Lium), QLoRA de 1 × RTX 3090 24GB (Lium) e um ajuste completo de 1 × RTX 5090 32GB (Lium). O treino mantém na memória as ativações e o estado do otimizador além dos pesos, por isso costuma pedir mais GPUs do que servir o mesmo modelo.

Roda em um Mac ou em uma única RTX 4090?

RTX 4090 (24 GB)

Sim, em FP16 / BF16 com contexto de 8K: cerca de 4 GB cabem nos 24 GB da placa.

Mac com Apple silicon

Sim, com memória suficiente. Em INT4 ele precisa de cerca de 2 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.

Modelos parecidos

Modelos abertos de tamanho parecido.

Calcular outro modelo

Llama 3.2 1B Instruct: perguntas frequentes

Quanta VRAM o Llama 3.2 1B Instruct precisa?

Cerca de 4 GB em FP16, 2,7 GB em INT8 e 2 GB em INT4, com contexto de 8K e uma requisição por vez. Contextos maiores e mais requisições em paralelo somam cache KV.

Qual é a GPU mais barata para rodar o Llama 3.2 1B Instruct?

1 × RTX 3090 24GB (cerca de US$ 0,16 por GPU / hora) na Lium, por cerca de US$ 0,16 a hora para inferência em FP16 / BF16 com contexto de 8K. Preços coletados em 16 de nov. de 2026; mudam com frequência.

Dá para fazer ajuste fino do Llama 3.2 1B Instruct em uma única GPU?

Sim, com QLoRA: precisa de cerca de 3,4 GB, que cabem em uma GPU de 80 GB. LoRA precisa de cerca de 5,4 GB e um ajuste completo de cerca de 24 GB.

Como esses números são calculados?

Os pesos são os parâmetros vezes os bytes por parâmetro (2 em FP16, 1 em INT8, 0,5 em INT4). O cache KV vem das camadas, cabeças KV, tamanho da cabeça e tamanho do contexto do modelo. Somamos cerca de 10% mais 1 GB para o runtime e enchemos cada GPU até 90%. Os preços são de tabela sob demanda em regiões dos EUA, coletados da página pública de cada provedor.

O Llama 3.2 1B Instruct roda em uma GPU de consumo como a RTX 4090?

Sim, em FP16 / BF16 com contexto de 8K: cerca de 4 GB cabem nos 24 GB da placa.

O Llama 3.2 1B Instruct cabe em uma única H100 80GB?

Sim, em FP16 / BF16, INT8, INT4 com contexto de 8K.

Quantas GPUs preciso para o Llama 3.2 1B Instruct?

Em FP16 com contexto de 8K: 1 × 80 GB, 1 × 48 GB ou 1 × 24 GB. Em INT4 os pesos ocupam cerca de um quarto da memória.

Quanta VRAM o Llama 3.2 1B Instruct precisa em INT8?

Cerca de 2,7 GB: 1,3 GB para os pesos, 0,27 GB para um cache KV de 8K e 1,2 GB de sobrecarga do runtime.

Quanto custa rodar o Llama 3.2 1B Instruct 24/7 por um mês?

Cerca de US$ 117 na configuração mais barata que encontramos (1 × RTX 3090 24GB (cerca de US$ 0,16 por GPU / hora), US$ 0,16 a hora por 730 horas). O mais barato na AWS, Google Cloud ou Azure fica em cerca de US$ 384 por mês.

FP16, INT8 ou INT4: qual usar?

FP16 mantém a qualidade total e usa mais memória (cerca de 4 GB aqui). INT8 corta os pesos pela metade com pouca perda na maioria dos usos de chat. INT4 (AWQ, GPTQ ou GGUF Q4) reduz para um quarto, cerca de 2 GB no total, com uma pequena queda de qualidade que aparece mais em matemática e código.

O Llama 3.2 1B Instruct roda em um Mac?

Sim, com memória suficiente. Em INT4 ele precisa de cerca de 2 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.

vLLM ou llama.cpp?

O vLLM foi feito para atender muitas requisições ao mesmo tempo em GPUs NVIDIA e AMD e reserva quase toda a memória da GPU para o cache KV. O llama.cpp roda arquivos GGUF em quase tudo, inclusive Macs e CPUs, e serve bem a uma pessoa ou a uma equipe pequena. Na mesma precisão, a memória necessária é parecida.

Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).

Como calculamos

  • Pesos. Parâmetros vezes bytes por parâmetro: 2 em FP16, 1 em INT8, 0,5 em INT4, mais cerca de 5% para as escalas de quantização em INT8 e INT4.
  • Cache KV. 2 × camadas × cabeças KV × tamanho da cabeça × contexto × requisições × 2 bytes, a partir do config.json do modelo. Quando falta um dado, estimamos e avisamos.
  • Sobrecarga. Cerca de 10% mais 1 GB para o runtime, em linha com o que o vLLM reserva.
  • Ajuste fino. LoRA mantém pesos em 16 bits e adiciona um adaptador pequeno, seu otimizador e as ativações. QLoRA faz o mesmo sobre pesos de 4 bits. Um ajuste completo precisa de cerca de 16 bytes por parâmetro com Adam em precisão mista (pesos, gradientes e estados do otimizador), mais as ativações.
  • GPUs. Enchemos cada GPU até 90% da memória e paramos em 8 por nó. Os custos são preços de tabela sob demanda em regiões dos EUA; nos marketplaces mostramos a oferta mediana.