Requisitos de GPU do Llama 3.2 1B Instruct: VRAM e GPU mais barata
Llama 3.2 1B Instruct tem 1,2 bi parâmetros, publicados em BF16. Aceita até 128K tokens de contexto. Nesse tamanho, só o cache KV ocupa cerca de 4,3 GB por requisição, então prompts longos podem mudar a GPU necessária. A licença (llama3.2) traz termos próprios; leia antes de usar o modelo comercialmente.
- Parâmetros
- 1,2 bi
- Menor consumo (INT4)
- cerca de 2 GB
- GPU mais barata por hora (FP16)
- US$ 0,16
- Tipo
- Texto
meta-llama/Llama-3.2-1B-Instruct
- Parâmetros 1,2 bi
- Tipo Texto
- Tarefa text-generation
- Contexto máximo 128K
- Licença llama3.2
- Downloads 1,3 mi
- Curtidas 2 mil
Cálculo para Llama 3.2 1B Instruct
Mais ajustes
Llama 3.2 1B Instruct precisa de cerca de 4 GB de memória de GPU
Inferência (vLLM), FP16 / BF16, contexto de 8K tokens, uma requisição por vez.
Para onde vai a memória
- Pesos 2,5 GB
- Cache KV 0,27 GB
- Sobrecarga do runtime 1,3 GB
- Total 4 GB
A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.
| Posição | Configuração | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) | Provedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMais barataAmpere · GDDR6X | US$ 0,16 | 1 | US$ 0,16 | US$ 117 | Lium (abre em nova aba)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$ 0,30 | 1 | US$ 0,30 | US$ 219 | Lium (abre em nova aba)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$ 0,40 | 1 | US$ 0,40 | US$ 292 | Lium (abre em nova aba)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$ 0,42 | 1 | US$ 0,42 | US$ 307 | Lium (abre em nova aba)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | US$ 0,45 | 1 | US$ 0,45 | US$ 326 | Vast.ai (abre em nova aba)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$ 0,50 | 1 | US$ 0,50 | US$ 365 | RunPod (abre em nova aba)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | US$ 0,52 | 1 | US$ 0,52 | US$ 381 | Vast.ai (abre em nova aba)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | US$ 0,53 | 1 | US$ 0,53 | US$ 384 | AWS (abre em nova aba)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$ 0,75 | 1 | US$ 0,75 | US$ 548 | Lium (abre em nova aba)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$ 0,80 | 1 | US$ 0,80 | US$ 585 | Vast.ai (abre em nova aba)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | US$ 0,80 | 1 | US$ 0,80 | US$ 586 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | US$ 1,01 | 1 | US$ 1,01 | US$ 734 | AWS (abre em nova aba)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | US$ 1,12 | 1 | US$ 1,12 | US$ 820 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | US$ 1,39 | 1 | US$ 1,39 | US$ 1.015 | Lium (abre em nova aba)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$ 1,99 | 1 | US$ 1,99 | US$ 1.453 | Vultr (abre em nova aba)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$ 2,39 | 1 | US$ 2,39 | US$ 1.745 | RunPod (abre em nova aba)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | US$ 2,90 | 1 | US$ 2,90 | US$ 2.117 | Lium (abre em nova aba)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | US$ 3,06 | 1 | US$ 3,06 | US$ 2.234 | AWS (abre em nova aba)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | US$ 3,19 | 1 | US$ 3,19 | US$ 2.329 | RunPod (abre em nova aba)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$ 5,60 | 1 | US$ 5,60 | US$ 4.088 | Lium (abre em nova aba)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$ 8,00 | 1 | US$ 8,00 | US$ 5.840 | Lium (abre em nova aba)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$ 10,50 | 1vendida com 4 GPUs; você precisa de 1 | US$ 42,00 | US$ 30.660 | CoreWeave (abre em nova aba)GB200 NVL72 |
| Provedor | Instância | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) |
|---|---|---|---|---|---|
| Lium (abre em nova aba)Mais barata | 1x RTX 3090 Timarketplace global | US$ 0,16 | 1 × RTX 3090 24GB | cerca de US$ 0,16 | cerca de US$ 117 |
| Vast.ai (abre em nova aba) | 1x RTX 3090 (median of 32 offers)marketplace global | US$ 0,26 | 1 × RTX 3090 24GB | cerca de US$ 0,26 | cerca de US$ 186 |
| RunPod (abre em nova aba) | 1x RTX 3090 Tius | US$ 0,46 | 1 × RTX 3090 24GB | cerca de US$ 0,46 | cerca de US$ 336 |
| AWS (abre em nova aba) | g4dn.xlargeus-east-1 | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Azure (abre em nova aba) | NC4as_T4_v3eastus | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Google Cloud (abre em nova aba) | g2-standard-4us-central1 | US$ 0,71 | 1 × L4 24GB | cerca de US$ 0,71 | cerca de US$ 516 |
| Lambda (abre em nova aba) | 1x A6000us | US$ 1,09 | 1 × RTX A6000 48GB | cerca de US$ 1,09 | cerca de US$ 796 |
| Nebius (abre em nova aba) | 1x L40S 48GBeu/us | US$ 1,55 | 1 × L40S 48GB | cerca de US$ 1,55 | cerca de US$ 1.132 |
| Vultr (abre em nova aba) | vcg-l40s-16c-180g-48vramus | US$ 1,67 | 1 × L40S 48GB | cerca de US$ 1,67 | cerca de US$ 1.220 |
| CoreWeave (abre em nova aba) | GH200us | US$ 6,50 | 1 × GH200 96GB | cerca de US$ 6,50 | cerca de US$ 4.745 |
Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).
Memória por precisão e uso
| Precisão | Inferência | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 4 GB | 5,4 GB | – | 24 GB |
| INT8 | 2,7 GB | – | – | – |
| INT4 | 2 GB | – | 3,4 GB | – |
A GPU mais barata por precisão
Inferência com contexto de 8K e uma requisição por vez.
FP16 / BF16
cerca de 4 GB · 8K tokens
Os pesos como foram publicados. Sem perda, mas com o maior consumo.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
INT8
cerca de 2,7 GB · 8K tokens
Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
INT4
cerca de 2 GB · 8K tokens
Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.
1 × RTX 3090 24GB
Lium (abre em nova aba) · 1x RTX 3090 Ti
- Por GPU / h
- US$ 0,16
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,16
- por mês, 24/7, aprox.
- US$ 117
Inferência ou ajuste fino
Inferência (FP16)
1