Requisitos de GPU do all-MiniLM-L6-v2: VRAM e GPU mais barata
all-MiniLM-L6-v2 tem 22,7 mi parâmetros, publicados em FP32. É publicado sob apache-2.0, que permite uso comercial.
- Parâmetros
- 22,7 mi
- Menor consumo (INT4)
- cerca de 1 GB
- GPU mais barata por hora (FP16)
- US$ 0,25
- Tipo
- Embeddings
sentence-transformers/all-MiniLM-L6-v2
- Parâmetros 22,7 mi
- Tipo Embeddings
- Tarefa sentence-similarity
- Contexto máximo 512
- Licença apache-2.0
- Downloads 173,7 mi
- Curtidas 6,1 mil
Cálculo para all-MiniLM-L6-v2
Mais ajustes
all-MiniLM-L6-v2 precisa de cerca de 1 GB de memória de GPU
Inferência (vLLM), FP16 / BF16, contexto de 512 tokens, uma requisição por vez.
Para onde vai a memória
- Pesos 0,045 GB
- Sobrecarga do runtime 1 GB
- Total 1 GB
A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.
| Posição | Configuração | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) | Provedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMais barataAmpere · GDDR6X | US$ 0,25 | 1 | US$ 0,25 | US$ 183 | Vast.ai (abre em nova aba)1x RTX 3090 (median of 29 offers) |
| 2 | 1 × V100 16GBVolta · HBM2 | US$ 0,15 | 1vendida com 2 GPUs; você precisa de 1 | US$ 0,30 | US$ 220 | Vast.ai (abre em nova aba)2x Tesla V100 (median of 4 offers) |
| 3 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$ 0,48 | 1 | US$ 0,48 | US$ 354 | Vast.ai (abre em nova aba)1x RTX 4090 (median of 34 offers) |
| 4 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$ 0,50 | 1 | US$ 0,50 | US$ 365 | RunPod (abre em nova aba)1x RTX PRO 6000 MaxQ |
| 5 | 1 × T4 16GBTuring · GDDR6 | US$ 0,53 | 1 | US$ 0,53 | US$ 384 | AWS (abre em nova aba)g4dn.xlarge |
| 6 | 1 × A40 48GBAmpere · GDDR6 | US$ 0,59 | 1 | US$ 0,59 | US$ 431 | RunPod (abre em nova aba)1x A40 |
| 7 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$ 0,67 | 1 | US$ 0,67 | US$ 488 | Vast.ai (abre em nova aba)1x RTX 6000Ada (median of 8 offers) |
| 8 | 1 × A100 40GBAmpere · HBM2 | US$ 0,68 | 1 | US$ 0,68 | US$ 497 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 8 offers) |
| 9 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$ 0,69 | 1 | US$ 0,69 | US$ 504 | RunPod (abre em nova aba)1x RTX A6000 |
| 10 | 1 × L4 24GBAda Lovelace · GDDR6 | US$ 0,69 | 1 | US$ 0,69 | US$ 504 | RunPod (abre em nova aba)1x L4 |
| 11 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$ 0,78 | 1 | US$ 0,78 | US$ 571 | Vast.ai (abre em nova aba)1x L40S (median of 6 offers) |
| 12 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$ 0,87 | 1 | US$ 0,87 | US$ 634 | Vast.ai (abre em nova aba)1x RTX 5090 (median of 55 offers) |
| 13 | 1 × A10 24GBAmpere · GDDR6 | US$ 1,01 | 1 | US$ 1,01 | US$ 734 | AWS (abre em nova aba)g5.xlarge |
| 14 | 1 × A100 80GBAmpere · HBM2e | US$ 1,21 | 1 | US$ 1,21 | US$ 884 | Vast.ai (abre em nova aba)1x A100 SXM4 (median of 8 offers) |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$ 1,99 | 1 | US$ 1,99 | US$ 1.453 | Vultr (abre em nova aba)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$ 2,39 | 1 | US$ 2,39 | US$ 1.745 | RunPod (abre em nova aba)1x MI300X |
| 17 | 1 × H100 80GBHopper · HBM3 | US$ 2,89 | 1 | US$ 2,89 | US$ 2.110 | RunPod (abre em nova aba)1x H100 PCIe |
| 18 | 1 × H100 NVL 94GBHopper · HBM3 | US$ 3,19 | 1 | US$ 3,19 | US$ 2.329 | RunPod (abre em nova aba)1x H100 NVL |
| 19 | 1 × H200 141GBHopper · HBM3e | US$ 3,79 | 1 | US$ 3,79 | US$ 2.767 | RunPod (abre em nova aba)1x H200 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$ 7,99 | 1 | US$ 7,99 | US$ 5.833 | RunPod (abre em nova aba)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$ 8,99 | 1 | US$ 8,99 | US$ 6.563 | RunPod (abre em nova aba)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$ 10,50 | 1vendida com 4 GPUs; você precisa de 1 | US$ 42,00 | US$ 30.660 | CoreWeave (abre em nova aba)GB200 NVL72 |
| Provedor | Instância | Por GPU / h | GPUs necessárias | Total / h | Total / mês (24/7) |
|---|---|---|---|---|---|
| Vast.ai (abre em nova aba)Mais barata | 1x RTX 3090 (median of 29 offers)marketplace global | US$ 0,25 | 1 × RTX 3090 24GB | cerca de US$ 0,25 | cerca de US$ 183 |
| RunPod (abre em nova aba) | 1x RTX 3090 Tius | US$ 0,46 | 1 × RTX 3090 24GB | cerca de US$ 0,46 | cerca de US$ 336 |
| AWS (abre em nova aba) | g4dn.xlargeus-east-1 | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Azure (abre em nova aba) | NC4as_T4_v3eastus | US$ 0,53 | 1 × T4 16GB | cerca de US$ 0,53 | cerca de US$ 384 |
| Google Cloud (abre em nova aba) | g2-standard-4us-central1 | US$ 0,71 | 1 × L4 24GB | cerca de US$ 0,71 | cerca de US$ 516 |
| Lambda (abre em nova aba) | 1x A6000us | US$ 1,09 | 1 × RTX A6000 48GB | cerca de US$ 1,09 | cerca de US$ 796 |
| Nebius (abre em nova aba) | 1x L40S 48GBeu/us | US$ 1,55 | 1 × L40S 48GB | cerca de US$ 1,55 | cerca de US$ 1.132 |
| Vultr (abre em nova aba) | vcg-l40s-16c-180g-48vramus | US$ 1,67 | 1 × L40S 48GB | cerca de US$ 1,67 | cerca de US$ 1.220 |
| CoreWeave (abre em nova aba) | GH200us | US$ 6,50 | 1 × GH200 96GB | cerca de US$ 6,50 | cerca de US$ 4.745 |
Preços coletados em 13 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai são globais).
Memória por precisão e uso
| Precisão | Inferência | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 1 GB | 1,1 GB | – | 1,4 GB |
| INT8 | 1 GB | – | – | – |
| INT4 | 1 GB | – | 1 GB | – |
A GPU mais barata por precisão
Inferência com contexto de 8K e uma requisição por vez.
FP16 / BF16
cerca de 1 GB · 512 tokens
Os pesos como foram publicados. Sem perda, mas com o maior consumo.
1 × RTX 3090 24GB
Vast.ai (abre em nova aba) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- US$ 0,25
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,25
- por mês, 24/7, aprox.
- US$ 183
INT8
cerca de 1 GB · 512 tokens
Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.
1 × RTX 3090 24GB
Vast.ai (abre em nova aba) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- US$ 0,25
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,25
- por mês, 24/7, aprox.
- US$ 183
INT4
cerca de 1 GB · 512 tokens
Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.
1 × RTX 3090 24GB
Vast.ai (abre em nova aba) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- US$ 0,25
- GPUs necessárias
- 1
- Total / h
- cerca de US$ 0,25
- por mês, 24/7, aprox.
- US$ 183
Inferência ou ajuste fino
Inferência (FP16)
1×
da memória da inferência
1 GB
1 × RTX 3090 24GB · cerca de US$ 0,25
Ajuste LoRA
1×
da memória da inferência
1,1 GB
1 × RTX 3090 24GB · cerca de US$ 0,25
Ajuste QLoRA
1×
da memória da inferência
1 GB
1 × RTX 3090 24GB · cerca de US$ 0,25
Ajuste completo
1,3×
da memória da inferência
1,4 GB
1 × RTX 3090 24GB · cerca de US$ 0,25
Para servi-lo em FP16 basta 1 × RTX 3090 24GB (Vast.ai). LoRA precisa de 1 × RTX 3090 24GB (Vast.ai), QLoRA de 1 × RTX 3090 24GB (Vast.ai) e um ajuste completo de 1 × RTX 3090 24GB (Vast.ai). O treino mantém na memória as ativações e o estado do otimizador além dos pesos, por isso costuma pedir mais GPUs do que servir o mesmo modelo.
Roda em um Mac ou em uma única RTX 4090?
RTX 4090 (24 GB)
Sim, em FP16 / BF16 com contexto de 8K: cerca de 1 GB cabem nos 24 GB da placa.
Mac com Apple silicon
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 1 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
Rodar por conta própria ou pagar por token?
Rodar por conta própria
A configuração FP16 mais barata que encontramos é 1 × RTX 3090 24GB na Vast.ai, cerca de US$ 183 por mês rodando sem parar. Vale a pena com tráfego constante ou quando os dados precisam ficar nas suas máquinas.
Usar uma API hospedada
Nossa análise do all-MiniLM-L6-v2 mostra onde usá-lo por API e quanto custa. Pagar por token costuma sair mais barato com tráfego leve ou irregular.
Leia nossa análiseModelos parecidos
Modelos abertos de tamanho parecido.
- embeddinggemma 300mEmbeddings302,9 mi · cerca de 1,7 GB FP16 · 1,1 mi ↓Necessidade de GPU
- DINOv3Embeddings303,1 mi · cerca de 1,7 GB FP16 · 698,3 mil ↓Necessidade de GPU
- gte multilingual baseEmbeddings305,4 mi · cerca de 1,7 GB FP16 · 872,8 mil ↓Necessidade de GPU
- Granite Embedding Multilingual R2 (311M and 97M)Embeddings311,7 mi · cerca de 1,7 GB FP16 · 83,9 mil ↓Necessidade de GPU
- ruri v3 310mEmbeddings314,6 mi · cerca de 1,7 GB FP16 · 690,6 mil ↓Necessidade de GPU
- mxbai embed large v1Embeddings335,1 mi · cerca de 1,7 GB FP16 · 2,2 mi ↓Necessidade de GPU
all-MiniLM-L6-v2: perguntas frequentes
Quanta VRAM o all-MiniLM-L6-v2 precisa?
Cerca de 1 GB em FP16, 1 GB em INT8 e 1 GB em INT4, com contexto de 8K e uma requisição por vez. Contextos maiores e mais requisições em paralelo somam cache KV.
Qual é a GPU mais barata para rodar o all-MiniLM-L6-v2?
1 × RTX 3090 24GB (cerca de US$ 0,25 por GPU / hora) na Vast.ai, por cerca de US$ 0,25 a hora para inferência em FP16 / BF16 com contexto de 8K. Preços coletados em 13 de nov. de 2026; mudam com frequência.
Dá para fazer ajuste fino do all-MiniLM-L6-v2 em uma única GPU?
Sim, com QLoRA: precisa de cerca de 1 GB, que cabem em uma GPU de 80 GB. LoRA precisa de cerca de 1,1 GB e um ajuste completo de cerca de 1,4 GB.
Como esses números são calculados?
Os pesos são os parâmetros vezes os bytes por parâmetro (2 em FP16, 1 em INT8, 0,5 em INT4). O cache KV vem das camadas, cabeças KV, tamanho da cabeça e tamanho do contexto do modelo. Somamos cerca de 10% mais 1 GB para o runtime e enchemos cada GPU até 90%. Os preços são de tabela sob demanda em regiões dos EUA, coletados da página pública de cada provedor.
O all-MiniLM-L6-v2 roda em uma GPU de consumo como a RTX 4090?
Sim, em FP16 / BF16 com contexto de 8K: cerca de 1 GB cabem nos 24 GB da placa.
O all-MiniLM-L6-v2 cabe em uma única H100 80GB?
Sim, em FP16 / BF16, INT8, INT4 com contexto de 8K.
Quantas GPUs preciso para o all-MiniLM-L6-v2?
Em FP16 com contexto de 8K: 1 × 80 GB, 1 × 48 GB ou 1 × 24 GB. Em INT4 os pesos ocupam cerca de um quarto da memória.
Quanta VRAM o all-MiniLM-L6-v2 precisa em INT8?
Cerca de 1 GB, só pesos e sobrecarga do runtime: este modelo processa a entrada de uma vez e não guarda cache KV.
Quanto custa rodar o all-MiniLM-L6-v2 24/7 por um mês?
Cerca de US$ 183 na configuração mais barata que encontramos (1 × RTX 3090 24GB (cerca de US$ 0,25 por GPU / hora), US$ 0,25 a hora por 730 horas). O mais barato na AWS, Google Cloud ou Azure fica em cerca de US$ 384 por mês.
FP16, INT8 ou INT4: qual usar?
FP16 mantém a qualidade total e usa mais memória (cerca de 1 GB aqui). INT8 corta os pesos pela metade com pouca perda na maioria dos usos de chat. INT4 (AWQ, GPTQ ou GGUF Q4) reduz para um quarto, cerca de 1 GB no total, com uma pequena queda de qualidade que aparece mais em matemática e código.
O all-MiniLM-L6-v2 roda em um Mac?
Sim, com memória suficiente. Em INT4 ele precisa de cerca de 1 GB, então um Mac com 16 GB ou mais de memória unificada (o macOS deixa a GPU usar cerca de três quartos dela). A geração será mais lenta que numa GPU de data center.
vLLM ou llama.cpp?
O vLLM foi feito para atender muitas requisições ao mesmo tempo em GPUs NVIDIA e AMD e reserva quase toda a memória da GPU para o cache KV. O llama.cpp roda arquivos GGUF em quase tudo, inclusive Macs e CPUs, e serve bem a uma pessoa ou a uma equipe pequena. Na mesma precisão, a memória necessária é parecida.
Preços coletados em 13 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai são globais).
Como calculamos
- Pesos. Parâmetros vezes bytes por parâmetro: 2 em FP16, 1 em INT8, 0,5 em INT4, mais cerca de 5% para as escalas de quantização em INT8 e INT4.
- Cache KV. 2 × camadas × cabeças KV × tamanho da cabeça × contexto × requisições × 2 bytes, a partir do config.json do modelo. Quando falta um dado, estimamos e avisamos.
- Sobrecarga. Cerca de 10% mais 1 GB para o runtime, em linha com o que o vLLM reserva.
- Ajuste fino. LoRA mantém pesos em 16 bits e adiciona um adaptador pequeno, seu otimizador e as ativações. QLoRA faz o mesmo sobre pesos de 4 bits. Um ajuste completo precisa de cerca de 16 bytes por parâmetro com Adam em precisão mista (pesos, gradientes e estados do otimizador), mais as ativações.
- GPUs. Enchemos cada GPU até 90% da memória e paramos em 8 por nó. Os custos são preços de tabela sob demanda em regiões dos EUA; nos marketplaces mostramos a oferta mediana.