Requisitos de GPU do Llama 3.2 1B Instruct: VRAM e GPU mais barata
Llama 3.2 1B Instruct tem 1,2 bi parâmetros, publicados em BF16. Aceita até 128K tokens de contexto. Nesse tamanho, só o cache KV ocupa cerca de 4,3 GB por requisição, então prompts longos podem mudar a GPU necessária. A licença (llama3.2) traz termos próprios; leia antes de usar o modelo comercialmente.
- Parâmetros
- 1,2 bi
- Menor consumo (INT4)
- cerca de 2 GB
- GPU mais barata por hora (FP16)
- US$ 0,16
- Tipo
- Texto
unsloth/Llama-3.2-1B-Instruct
- Parâmetros 1,2 bi
- Tipo Texto
- Tarefa text-generation
- Contexto máximo 128K
- Licença llama3.2
- Downloads 1 mi
- Curtidas 112
Cálculo para Llama 3.2 1B Instruct
Mais ajustes
Llama 3.2 1B Instruct precisa de cerca de 4 GB de memória de GPU
Inferência (vLLM), FP16 / BF16, contexto de 8K tokens, uma requisição por vez.
Para onde vai a memória
- Pesos 2,5 GB
- Cache KV 0,27 GB
- Sobrecarga do runtime 1,3 GB
- Total 4 GB
A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.
| Posição | Configuração | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) | Provedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMais barataAmpere · GDDR6X | US$ 0,16 | 1 | US$ 0,16 | US$ 117 | Lium (abre em nova aba)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$ 0,30 | 1 | US$ 0,30 | US$ 219 | Lium (abre em nova aba)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$ 0,40 | 1 | US$ 0,40 | US$ 292 | Lium (abre em nova aba)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$ 0,42 | 1 | US$ 0,42 | US$ 307 | Lium (abre em nova aba)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | US$ 0,45 | 1 | US$ 0,45 | US$ 326 | Vast.ai (abre em nova aba)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$ 0,50 | 1 | US$ 0,50 | US$ 365 | RunPod (abre em nova aba)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | US$ 0,52 | 1 | US$ 0,52 | US$ 381 | Vast.ai (abre em nova aba)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | US$ 0,53 | 1 | US$ 0,53 | US$ 384 | AWS (abre em nova aba)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$ 0,75 | 1 | US$ 0,75 | US$ 548 | Lium (abre em nova aba)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$ 0,80 | 1 | US$ 0,80 | US$ 585 | Vast.ai (abre em nova aba)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | US$ 0,80 | 1 | US$ 0,80 | US$ 586 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | US$ 1,01 | 1 | US$ 1,01 | US$ 734 | AWS (abre em nova aba)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | US$ 1,12 | 1 | US$ 1,12 | US$ 820 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | US$ 1,39 | 1 | US$ 1,39 | US$ 1.015 | Lium (abre em nova aba)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$ 1,99 | 1 | US$ 1,99 | US$ 1.453 | Vultr (abre em nova aba)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$ 2,39 | 1 | US$ 2,39 | US$ 1.745 | RunPod (abre em nova aba)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | US$ 2,90 | 1 | US$ 2,90 | US$ 2.117 | Lium (abre em nova aba)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | US$ 3,06 | 1 | US$ 3,06 | US$ 2.234 | AWS (abre em nova aba)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | US$ 3,19 | 1 | US$ 3,19 | US$ 2.329 | RunPod (abre em nova aba)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$ 5,60 | 1 | US$ 5,60 | US$ 4.088 | Lium (abre em nova aba)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$ 8,00 | 1 | US$ 8,00 | US$ 5.840 | Lium (abre em nova aba)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$ 10,50 | 1vendida com 4 GPUs; você precisa de 1 | US$ 42,00 | US$ 30.660 | CoreWeave (abre em nova aba)GB200 NVL72 |
| Provedor | Instância | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) |
|---|---|---|---|---|---|
| Lium (abre em nova aba)Mais barata | 1x RTX 3090 Timarketplace global | US$ 0,16 | 1 × RTX 3090 24GB | cerca de US$ 0,16 | cerca de US$ 117 |
| Vast.ai (abre em nova aba) | 1x RTX 3090 (median of 32 offers)marketplace global | US$ 0,26 | 1 × RTX 3090 24GB | cerca de US$ 0,26 | cerca de US$ 186 |
| RunPod (abre em nova aba) | 1x RTX 3090 Tius | US$ 0,46 | 1 × RTX 3090 24GB | cerca de US$ 0,46 | cerca de US$ 336 |
| AWS (abre em nova aba) | g4dn.xlargeus-east-1 | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Azure (abre em nova aba) | NC4as_T4_v3eastus | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Google Cloud (abre em nova aba) | g2-standard-4us-central1 | US$ 0,71 | 1 × L4 24GB | cerca de US$ 0,71 | cerca de US$ 516 |
| Lambda (abre em nova aba) | 1x A6000us | US$ 1,09 | 1 × RTX A6000 48GB | cerca de US$ 1,09 | cerca de US$ 796 |
| Nebius (abre em nova aba) | 1x L40S 48GBeu/us | US$ 1,55 | 1 × L40S 48GB | cerca de US$ 1,55 | cerca de US$ 1.132 |
| Vultr (abre em nova aba) | vcg-l40s-16c-180g-48vramus | US$ 1,67 | 1 × L40S 48GB | cerca de US$ 1,67 | cerca de US$ 1.220 |
| CoreWeave (abre em nova aba) | GH200us | US$ 6,50 | 1 × GH200 96GB | cerca de US$ 6,50 | cerca de US$ 4.745 |
Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).
Memória por precisão e uso
| Precisão | Inferência | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 4 GB | 5,4 GB | – | 24 GB |
| INT8 | 2,7 GB | – | – | – |
| INT4 | 2 GB | – | 3,4 GB | – |
A GPU mais barata por precisão
Inferência com contexto de 8K e uma requisição por vez.
FP16 / BF16
cerca de 4 GB · 8K tokens
Os pesos como foram publicados. Sem perda, mas com o maior consumo.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
INT8
cerca de 2,7 GB · 8K tokens
Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
INT4
cerca de 2 GB · 8K tokens
Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
Inferência ou ajuste fino
Inferência (FP16)
1×
da memória da inferência
4 GB
1 × RTX 3090 24GB · cerca de US$ 0,16
Ajuste LoRA
1,3×
da memória da inferência
5,4 GB
1 × RTX 3090 24GB · cerca de US$ 0,16
Ajuste QLoRA
0,8×
da memória da inferência
3,4 GB
1 × RTX 3090 24GB · cerca de US$ 0,16
Ajuste completo
6×
da memória da inferência
24 GB
1 × RTX 5090 32GB · cerca de US$ 0,40
Para servi-lo em FP16 basta 1 × RTX 3090 24GB (Lium). LoRA precisa de 1 × RTX 3090 24GB (Lium), QLoRA de 1 × RTX 3090 24GB (Lium) e um ajuste completo de 1 × RTX 5090 32GB (Lium). O treino mantém na memória as ativações e o estado do otimizador além dos pesos, por isso costuma pedir mais GPUs do que servir o mesmo modelo.
Roda em um Mac ou em uma única RTX 4090?
RTX 4090 (24 GB)
Sim, em FP16 / BF16 com contexto de 8K: cerca de 4 GB cabem nos 24 GB da placa.
Mac com Apple silicon
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 2 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
Modelos parecidos
Modelos abertos de tamanho parecido.
- Llama 3.2 1B InstructTexto1,2 bi · cerca de 4 GB FP16 · 1,3 mi ↓Necessidade de GPU
- Llama 3.2 1BTexto1,2 bi · cerca de 4 GB FP16 · 655,8 mil ↓Necessidade de GPU
- Limite 1B - ViolettoTexto1 bi · cerca de 3,7 GB FP16 · 3,4 mil ↓Necessidade de GPU
- Qwen2.5 1.5B InstructTexto1,5 bi · cerca de 4,7 GB FP16 · 4,9 mi ↓Necessidade de GPU
- Qwen2.5 1.5BTexto1,5 bi · cerca de 4,7 GB FP16 · 497,4 mil ↓Necessidade de GPU
- Qwen3 1.7B BaseTexto1,7 bi · cerca de 5,8 GB FP16 · 628,1 mil ↓Necessidade de GPU
Llama 3.2 1B Instruct: perguntas frequentes
Quanta VRAM o Llama 3.2 1B Instruct precisa?
Cerca de 4 GB em FP16, 2,7 GB em INT8 e 2 GB em INT4, com contexto de 8K e uma requisição por vez. Contextos maiores e mais requisições em paralelo somam cache KV.
Qual é a GPU mais barata para rodar o Llama 3.2 1B Instruct?
1 × RTX 3090 24GB (cerca de US$ 0,16 por GPU / hora) na Lium, por cerca de US$ 0,16 a hora para inferência em FP16 / BF16 com contexto de 8K. Preços coletados em 16 de nov. de 2026; mudam com frequência.
Dá para fazer ajuste fino do Llama 3.2 1B Instruct em uma única GPU?
Sim, com QLoRA: precisa de cerca de 3,4 GB, que cabem em uma GPU de 80 GB. LoRA precisa de cerca de 5,4 GB e um ajuste completo de cerca de 24 GB.
Como esses números são calculados?
Os pesos são os parâmetros vezes os bytes por parâmetro (2 em FP16, 1 em INT8, 0,5 em INT4). O cache KV vem das camadas, cabeças KV, tamanho da cabeça e tamanho do contexto do modelo. Somamos cerca de 10% mais 1 GB para o runtime e enchemos cada GPU até 90%. Os preços são de tabela sob demanda em regiões dos EUA, coletados da página pública de cada provedor.
O Llama 3.2 1B Instruct roda em uma GPU de consumo como a RTX 4090?
Sim, em FP16 / BF16 com contexto de 8K: cerca de 4 GB cabem nos 24 GB da placa.
O Llama 3.2 1B Instruct cabe em uma única H100 80GB?
Sim, em FP16 / BF16, INT8, INT4 com contexto de 8K.
Quantas GPUs preciso para o Llama 3.2 1B Instruct?
Em FP16 com contexto de 8K: 1 × 80 GB, 1 × 48 GB ou 1 × 24 GB. Em INT4 os pesos ocupam cerca de um quarto da memória.
Quanta VRAM o Llama 3.2 1B Instruct precisa em INT8?
Cerca de 2,7 GB: 1,3 GB para os pesos, 0,27 GB para um cache KV de 8K e 1,2 GB de sobrecarga do runtime.
Quanto custa rodar o Llama 3.2 1B Instruct 24/7 por um mês?
Cerca de US$ 117 na configuração mais barata que encontramos (1 × RTX 3090 24GB (cerca de US$ 0,16 por GPU / hora), US$ 0,16 a hora por 730 horas). O mais barato na AWS, Google Cloud ou Azure fica em cerca de US$ 384 por mês.
FP16, INT8 ou INT4: qual usar?
FP16 mantém a qualidade total e usa mais memória (cerca de 4 GB aqui). INT8 corta os pesos pela metade com pouca perda na maioria dos usos de chat. INT4 (AWQ, GPTQ ou GGUF Q4) reduz para um quarto, cerca de 2 GB no total, com uma pequena queda de qualidade que aparece mais em matemática e código.
O Llama 3.2 1B Instruct roda em um Mac?
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 2 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
vLLM ou llama.cpp?
O vLLM foi feito para atender muitas requisições ao mesmo tempo em GPUs NVIDIA e AMD e reserva quase toda a memória da GPU para o cache KV. O llama.cpp roda arquivos GGUF em quase tudo, inclusive Macs e CPUs, e serve bem a uma pessoa ou a uma equipe pequena. Na mesma precisão, a memória necessária é parecida.
Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).
Como calculamos
- Pesos. Parâmetros vezes bytes por parâmetro: 2 em FP16, 1 em INT8, 0,5 em INT4, mais cerca de 5% para as escalas de quantização em INT8 e INT4.
- Cache KV. 2 × camadas × cabeças KV × tamanho da cabeça × contexto × requisições × 2 bytes, a partir do config.json do modelo. Quando falta um dado, estimamos e avisamos.
- Sobrecarga. Cerca de 10% mais 1 GB para o runtime, em linha com o que o vLLM reserva.
- Ajuste fino. LoRA mantém pesos em 16 bits e adiciona um adaptador pequeno, seu otimizador e as ativações. QLoRA faz o mesmo sobre pesos de 4 bits. Um ajuste completo precisa de cerca de 16 bytes por parâmetro com Adam em precisão mista (pesos, gradientes e estados do otimizador), mais as ativações.
- GPUs. Enchemos cada GPU até 90% da memória e paramos em 8 por nó. Os custos são preços de tabela sob demanda em regiões dos EUA; nos marketplaces mostramos a oferta mediana.