Requisitos de GPU do Qwen3 VL 8B Instruct: VRAM e GPU mais barata
Qwen3 VL 8B Instruct tem 8,8 bi parâmetros, publicados em BF16. Aceita até 256K tokens de contexto. Nesse tamanho, só o cache KV ocupa cerca de 39 GB por requisição, então prompts longos podem mudar a GPU necessária. É publicado sob apache-2.0, que permite uso comercial.
- Parâmetros
- 8,8 bi
- Menor consumo (INT4)
- cerca de 7,4 GB
- GPU mais barata por hora (FP16)
- US$ 0,15
- Tipo
- Visão
Qwen/Qwen3-VL-8B-Instruct
- Parâmetros 8,8 bi
- Tipo Visão
- Tarefa image-text-to-text
- Contexto máximo 256K
- Licença apache-2.0
- Downloads 7,1 mi
- Curtidas 1,3 mil
Cálculo para Qwen3 VL 8B Instruct
Mais ajustes
Qwen3 VL 8B Instruct precisa de cerca de 22 GB de memória de GPU
Inferência (vLLM), FP16 / BF16, contexto de 8K tokens, uma requisição por vez.
Para onde vai a memória
- Pesos 18 GB
- Cache KV 1,2 GB
- Sobrecarga do runtime 2,9 GB
- Total 22 GB
A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.
| Posição | Configuração | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) | Provedor |
|---|---|---|---|---|---|---|
| 1 | 2 × V100 16GBMais barataVolta · HBM2 | US$ 0,15 | 2 | US$ 0,30 | US$ 220 | Vast.ai (abre em nova aba)2x Tesla V100 (median of 4 offers) |
| 2 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$ 0,50 | 1 | US$ 0,50 | US$ 365 | RunPod (abre em nova aba)1x RTX PRO 6000 MaxQ |
| 3 | 2 × RTX 3090 24GBAmpere · GDDR6X | US$ 0,29 | 2 | US$ 0,58 | US$ 421 | Vast.ai (abre em nova aba)2x RTX 3090 (median of 18 offers) |
| 4 | 1 × A40 48GBAmpere · GDDR6 | US$ 0,59 | 1 | US$ 0,59 | US$ 431 | RunPod (abre em nova aba)1x A40 |
| 5 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$ 0,67 | 1 | US$ 0,67 | US$ 488 | Vast.ai (abre em nova aba)1x RTX 6000Ada (median of 8 offers) |
| 6 | 1 × A100 40GBAmpere · HBM2 | US$ 0,68 | 1 | US$ 0,68 | US$ 497 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 8 offers) |
| 7 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$ 0,69 | 1 | US$ 0,69 | US$ 504 | RunPod (abre em nova aba)1x RTX A6000 |
| 8 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$ 0,78 | 1 | US$ 0,78 | US$ 571 | Vast.ai (abre em nova aba)1x L40S (median of 6 offers) |
| 9 | 2 × L4 24GBAda Lovelace · GDDR6 | US$ 0,42 | 2 | US$ 0,83 | US$ 606 | Vast.ai (abre em nova aba)2x L4 (median of 4 offers) |
| 10 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$ 0,87 | 1 | US$ 0,87 | US$ 634 | Vast.ai (abre em nova aba)1x RTX 5090 (median of 55 offers) |
| 11 | 2 × RTX 4090 24GBAda Lovelace · GDDR6X | US$ 0,53 | 2 | US$ 1,06 | US$ 772 | Vast.ai (abre em nova aba)2x RTX 4090 (median of 24 offers) |
| 12 | 1 × A100 80GBAmpere · HBM2e | US$ 1,21 | 1 | US$ 1,21 | US$ 884 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 8 offers) |
| 13 | 1 × GH200 96GBHopper · HBM3 | US$ 1,99 | 1 | US$ 1,99 | US$ 1.453 | Vultr (abre em nova aba)vbm-72c-480gb-gh200-gpu (bare metal) |
| 14 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$ 2,39 | 1 | US$ 2,39 | US$ 1.745 | RunPod (abre em nova aba)1x MI300X |
| 15 | 1 × H100 80GBHopper · HBM3 | US$ 2,89 | 1 | US$ 2,89 | US$ 2.110 | RunPod (abre em nova aba)1x H100 PCIe |
| 16 | 1 × H100 NVL 94GBHopper · HBM3 | US$ 3,19 | 1 | US$ 3,19 | US$ 2.329 | RunPod (abre em nova aba)1x H100 NVL |
| 17 | 1 × H200 141GBHopper · HBM3e | US$ 3,79 | 1 | US$ 3,79 | US$ 2.767 | RunPod (abre em nova aba)1x H200 NVL |
| 18 | 2 × T4 16GBTuring · GDDR6 | US$ 0,98 | 2vendida com 4 GPUs; você precisa de 2 | US$ 3,91 | US$ 2.856 | AWS (abre em nova aba)g4dn.12xlarge |
| 19 | 2 × A10 24GBAmpere · GDDR6 | US$ 1,42 | 2vendida com 4 GPUs; você precisa de 2 | US$ 5,67 | US$ 4.141 | AWS (abre em nova aba)g5.12xlarge |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$ 7,99 | 1 | US$ 7,99 | US$ 5.833 | RunPod (abre em nova aba)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$ 8,99 | 1 | US$ 8,99 | US$ 6.563 | RunPod (abre em nova aba)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$ 10,50 | 1vendida com 4 GPUs; você precisa de 1 | US$ 42,00 | US$ 30.660 | CoreWeave (abre em nova aba)GB200 NVL72 |
| Provedor | Instância | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) |
|---|---|---|---|---|---|
| Vast.ai (abre em nova aba)Mais barata | 2x Tesla V100 (median of 4 offers)marketplace global | US$ 0,15 | 2 × V100 16GB | cerca de US$ 0,30 | cerca de US$ 220 |
| RunPod (abre em nova aba) | 1x RTX PRO 6000 MaxQus | US$ 0,50 | 1 × RTX PRO 6000 96GB | cerca de US$ 0,50 | cerca de US$ 365 |
| Lambda (abre em nova aba) | 1x A6000us | US$ 1,09 | 1 × RTX A6000 48GB | cerca de US$ 1,09 | cerca de US$ 796 |
| Nebius (abre em nova aba) | 1x L40S 48GBeu/us | US$ 1,55 | 1 × L40S 48GB | cerca de US$ 1,55 | cerca de US$ 1.132 |
| Vultr (abre em nova aba) | vcg-l40s-16c-180g-48vramus | US$ 1,67 | 1 × L40S 48GB | cerca de US$ 1,67 | cerca de US$ 1.220 |
| AWS (abre em nova aba) | g6e.xlargeus-east-1 | US$ 1,86 | 1 × L40S 48GB | cerca de US$ 1,86 | cerca de US$ 1.359 |
| Google Cloud (abre em nova aba) | g2-standard-24us-central1 | US$ 1,00 | 2 × L4 24GB | cerca de US$ 2,00 | cerca de US$ 1.461 |
| Azure (abre em nova aba) | NC24ads_A100_v4eastus | US$ 3,67 | 1 × A100 80GB | cerca de US$ 3,67 | cerca de US$ 2.681 |
| CoreWeave (abre em nova aba) | GH200us | US$ 6,50 | 1 × GH200 96GB | cerca de US$ 6,50 | cerca de US$ 4.745 |
Preços coletados em 13 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai são globais).
Memória por precisão e uso
| Precisão | Inferência | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 22 GB | 27 GB | – | 159 GB |
| INT8 | 12 GB | – | – | – |
| INT4 | 7,4 GB | – | 13 GB | – |
A GPU mais barata por precisão
Inferência com contexto de 8K e uma requisição por vez.
FP16 / BF16
cerca de 22 GB · 8K tokens
Os pesos como foram publicados. Sem perda, mas com o maior consumo.
2 × V100 16GB
Vast.ai (abre em nova aba) · 2x Tesla V100 (median of 4 offers)
- Por GPU / h
- US$ 0,15
- GPUs necessárias
- 2
- Total / h
- cerca de US$ 0,30
- por mês, 24/7, aprox.
- US$ 220
INT8
cerca de 12 GB · 8K tokens
Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.
1 × RTX 3090 24GB
Vast.ai (abre em nova aba) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- US$ 0,25
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,25
- por mês, 24/7, aprox.
- US$ 183
INT4
cerca de 7,4 GB · 8K tokens
Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.
1 × RTX 3090 24GB
Vast.ai (abre em nova aba) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- US$ 0,25
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,25
- por mês, 24/7, aprox.
- US$ 183
Inferência ou ajuste fino
Inferência (FP16)
1×
da memória da inferência
22 GB
2 × V100 16GB · cerca de US$ 0,30
Ajuste LoRA
1,3×
da memória da inferência
27 GB
2 × V100 16GB · cerca de US$ 0,30
Ajuste QLoRA
0,6×
da memória da inferência
13 GB
1 × RTX 3090 24GB · cerca de US$ 0,25
Ajuste completo
7,4×
da memória da inferência
159 GB
4 × A40 48GB · cerca de US$ 2,36
Para servi-lo em FP16 basta 2 × V100 16GB (Vast.ai). LoRA precisa de 2 × V100 16GB (Vast.ai), QLoRA de 1 × RTX 3090 24GB (Vast.ai) e um ajuste completo de 4 × A40 48GB (RunPod). O treino mantém na memória as ativações e o estado do otimizador além dos pesos, por isso costuma pedir mais GPUs do que servir o mesmo modelo.
Roda em um Mac ou em uma única RTX 4090?
RTX 4090 (24 GB)
Sim, em INT8 com contexto de 8K: cerca de 12 GB cabem nos 24 GB da placa.
Mac com Apple silicon
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 7,4 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
Modelos parecidos
Modelos abertos de tamanho parecido.
- Molmo2-8BVisão8,7 bi · cerca de 21 GB FP16 · 45,2 mil ↓Necessidade de GPU
- Qwen2.5 VL 7B InstructVisão8,3 bi · cerca de 20 GB FP16 · 5,8 mi ↓Necessidade de GPU
- Qwen2 VL 7B InstructVisão8,3 bi · cerca de 20 GB FP16 · 533,4 mil ↓Necessidade de GPU
- Moondream 3.1 (9B-A2B)Visão9,3 bi · cerca de 23 GB FP16 · 9,6 mil ↓Necessidade de GPU
- MiniCPM-o 4.5Visão9,4 bi · cerca de 23 GB FP16 · 179 mil ↓Necessidade de GPU
- Qwen3.5 9BVisão9,7 bi · cerca de 23 GB FP16 · 6,2 mi ↓Necessidade de GPU
Qwen3 VL 8B Instruct: perguntas frequentes
Quanta VRAM o Qwen3 VL 8B Instruct precisa?
Cerca de 22 GB em FP16, 12 GB em INT8 e 7,4 GB em INT4, com contexto de 8K e uma requisição por vez. Contextos maiores e mais requisições em paralelo somam cache KV.
Qual é a GPU mais barata para rodar o Qwen3 VL 8B Instruct?
2 × V100 16GB (cerca de US$ 0,15 por GPU / hora) na Vast.ai, por cerca de US$ 0,30 a hora para inferência em FP16 / BF16 com contexto de 8K. Preços coletados em 13 de nov. de 2026; mudam com frequência.
Dá para fazer ajuste fino do Qwen3 VL 8B Instruct em uma única GPU?
Sim, com QLoRA: precisa de cerca de 13 GB, que cabem em uma GPU de 80 GB. LoRA precisa de cerca de 27 GB e um ajuste completo de cerca de 159 GB.
Como esses números são calculados?
Os pesos são os parâmetros vezes os bytes por parâmetro (2 em FP16, 1 em INT8, 0,5 em INT4). O cache KV vem das camadas, cabeças KV, tamanho da cabeça e tamanho do contexto do modelo. Somamos cerca de 10% mais 1 GB para o runtime e enchemos cada GPU até 90%. Os preços são de tabela sob demanda em regiões dos EUA, coletados da página pública de cada provedor.
O Qwen3 VL 8B Instruct roda em uma GPU de consumo como a RTX 4090?
Sim, em INT8 com contexto de 8K: cerca de 12 GB cabem nos 24 GB da placa.
O Qwen3 VL 8B Instruct cabe em uma única H100 80GB?
Sim, em FP16 / BF16, INT8, INT4 com contexto de 8K.
Quantas GPUs preciso para o Qwen3 VL 8B Instruct?
Em FP16 com contexto de 8K: 1 × 80 GB, 1 × 48 GB ou 2 × 24 GB. Em INT4 os pesos ocupam cerca de um quarto da memória.
Quanta VRAM o Qwen3 VL 8B Instruct precisa em INT8?
Cerca de 12 GB: 9,2 GB para os pesos, 1,2 GB para um cache KV de 8K e 2 GB de sobrecarga do runtime.
Quanto custa rodar o Qwen3 VL 8B Instruct 24/7 por um mês?
Cerca de US$ 220 na configuração mais barata que encontramos (2 × V100 16GB (cerca de US$ 0,15 por GPU / hora), US$ 0,30 a hora por 730 horas). O mais barato na AWS, Google Cloud ou Azure fica em cerca de US$ 1.359 por mês.
FP16, INT8 ou INT4: qual usar?
FP16 mantém a qualidade total e usa mais memória (cerca de 22 GB aqui). INT8 corta os pesos pela metade com pouca perda na maioria dos usos de chat. INT4 (AWQ, GPTQ ou GGUF Q4) reduz para um quarto, cerca de 7,4 GB no total, com uma pequena queda de qualidade que aparece mais em matemática e código.
O Qwen3 VL 8B Instruct roda em um Mac?
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 7,4 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
vLLM ou llama.cpp?
O vLLM foi feito para atender muitas requisições ao mesmo tempo em GPUs NVIDIA e AMD e reserva quase toda a memória da GPU para o cache KV. O llama.cpp roda arquivos GGUF em quase tudo, inclusive Macs e CPUs, e serve bem a uma pessoa ou a uma equipe pequena. Na mesma precisão, a memória necessária é parecida.
Preços coletados em 13 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai são globais).
Como calculamos
- Pesos. Parâmetros vezes bytes por parâmetro: 2 em FP16, 1 em INT8, 0,5 em INT4, mais cerca de 5% para as escalas de quantização em INT8 e INT4.
- Cache KV. 2 × camadas × cabeças KV × tamanho da cabeça × contexto × requisições × 2 bytes, a partir do config.json do modelo. Quando falta um dado, estimamos e avisamos.
- Sobrecarga. Cerca de 10% mais 1 GB para o runtime, em linha com o que o vLLM reserva.
- Ajuste fino. LoRA mantém pesos em 16 bits e adiciona um adaptador pequeno, seu otimizador e as ativações. QLoRA faz o mesmo sobre pesos de 4 bits. Um ajuste completo precisa de cerca de 16 bytes por parâmetro com Adam em precisão mista (pesos, gradientes e estados do otimizador), mais as ativações.
- GPUs. Enchemos cada GPU até 90% da memória e paramos em 8 por nó. Os custos são preços de tabela sob demanda em regiões dos EUA; nos marketplaces mostramos a oferta mediana.