Requisitos de GPU de all-MiniLM-L6-v2: VRAM y GPU más barata
all-MiniLM-L6-v2 tiene 22,7 M parámetros, publicados en FP32. Se publica con licencia apache-2.0, que permite el uso comercial.
- Parámetros
- 22,7 M
- Mínimo de memoria (INT4)
- unos 1 GB
- GPU más barata por hora (FP16)
- 0,25 US$
- Tipo
- Embeddings
sentence-transformers/all-MiniLM-L6-v2
Ver en Hugging Face (se abre en una pestaña nueva)Lee nuestra reseña
- Parámetros 22,7 M
- Tipo Embeddings
- Tarea sentence-similarity
- Contexto máximo 512
- Licencia apache-2.0
- Descargas 173,7 M
- Me gusta 6,1 mil
Cálculo para all-MiniLM-L6-v2
Más ajustes
all-MiniLM-L6-v2 necesita unos 1 GB de memoria de GPU
Inferencia (vLLM), FP16 / BF16, contexto de 512 tokens, una petición a la vez.
En qué se va la memoria
- Pesos 0,045 GB
- Sobrecarga del motor 1 GB
- Total 1 GB
El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.
| Puesto | Configuración | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) | Proveedor |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBMás barataAmpere · GDDR6X | 0,25 US$ | 1 | 0,25 US$ | 183 US$ | Vast.ai (se abre en una pestaña nueva)1x RTX 3090 (median of 29 offers) |
| 2 | 1 × V100 16GBVolta · HBM2 | 0,15 US$ | 1se vende con 2 GPU; necesitas 1 | 0,30 US$ | 220 US$ | Vast.ai (se abre en una pestaña nueva)2x Tesla V100 (median of 4 offers) |
| 3 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,48 US$ | 1 | 0,48 US$ | 354 US$ | Vast.ai (se abre en una pestaña nueva)1x RTX 4090 (median of 34 offers) |
| 4 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 US$ | 1 | 0,50 US$ | 365 US$ | RunPod (se abre en una pestaña nueva)1x RTX PRO 6000 MaxQ |
| 5 | 1 × T4 16GBTuring · GDDR6 | 0,53 US$ | 1 | 0,53 US$ | 384 US$ | AWS (se abre en una pestaña nueva)g4dn.xlarge |
| 6 | 1 × A40 48GBAmpere · GDDR6 | 0,59 US$ | 1 | 0,59 US$ | 431 US$ | RunPod (se abre en una pestaña nueva)1x A40 |
| 7 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,67 US$ | 1 | 0,67 US$ | 488 US$ | Vast.ai (se abre en una pestaña nueva)1x RTX 6000Ada (median of 8 offers) |
| 8 | 1 × A100 40GBAmpere · HBM2 | 0,68 US$ | 1 | 0,68 US$ | 497 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 8 offers) |
| 9 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,69 US$ | 1 | 0,69 US$ | 504 US$ | RunPod (se abre en una pestaña nueva)1x RTX A6000 |
| 10 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,69 US$ | 1 | 0,69 US$ | 504 US$ | RunPod (se abre en una pestaña nueva)1x L4 |
| 11 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,78 US$ | 1 | 0,78 US$ | 571 US$ | Vast.ai (se abre en una pestaña nueva)1x L40S (median of 6 offers) |
| 12 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,87 US$ | 1 | 0,87 US$ | 634 US$ | Vast.ai (se abre en una pestaña nueva)1x RTX 5090 (median of 55 offers) |
| 13 | 1 × A10 24GBAmpere · GDDR6 | 1,01 US$ | 1 | 1,01 US$ | 734 US$ | AWS (se abre en una pestaña nueva)g5.xlarge |
| 14 | 1 × A100 80GBAmpere · HBM2e | 1,21 US$ | 1 | 1,21 US$ | 884 US$ | Vast.ai (se abre en una pestaña nueva)1x A100 SXM4 (median of 8 offers) |
| 15 | 1 × GH200 96GBHopper · HBM3 | 1,99 US$ | 1 | 1,99 US$ | 1453 US$ | Vultr (se abre en una pestaña nueva)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 US$ | 1 | 2,39 US$ | 1745 US$ | RunPod (se abre en una pestaña nueva)1x MI300X |
| 17 | 1 × H100 80GBHopper · HBM3 | 2,89 US$ | 1 | 2,89 US$ | 2110 US$ | RunPod (se abre en una pestaña nueva)1x H100 PCIe |
| 18 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 US$ | 1 | 3,19 US$ | 2329 US$ | RunPod (se abre en una pestaña nueva)1x H100 NVL |
| 19 | 1 × H200 141GBHopper · HBM3e | 3,79 US$ | 1 | 3,79 US$ | 2767 US$ | RunPod (se abre en una pestaña nueva)1x H200 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 7,99 US$ | 1 | 7,99 US$ | 5833 US$ | RunPod (se abre en una pestaña nueva)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 US$ | 1 | 8,99 US$ | 6563 US$ | RunPod (se abre en una pestaña nueva)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 US$ | 1se vende con 4 GPU; necesitas 1 | 42,00 US$ | 30.660 US$ | CoreWeave (se abre en una pestaña nueva)GB200 NVL72 |
| Proveedor | Instancia | Por GPU / h | GPU necesarias | Total / h | Total / mes (24/7) |
|---|---|---|---|---|---|
| Vast.ai (se abre en una pestaña nueva)Más barata | 1x RTX 3090 (median of 29 offers)mercado mundial | 0,25 US$ | 1 × RTX 3090 24GB | unos 0,25 US$ | unos 183 US$ |
| RunPod (se abre en una pestaña nueva) | 1x RTX 3090 Tius | 0,46 US$ | 1 × RTX 3090 24GB | unos 0,46 US$ | unos 336 US$ |
| AWS (se abre en una pestaña nueva) | g4dn.xlargeus-east-1 | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Azure (se abre en una pestaña nueva) | NC4as_T4_v3eastus | 0,53 US$ | 1 × T4 16GB | unos 0,53 US$ | unos 384 US$ |
| Google Cloud (se abre en una pestaña nueva) | g2-standard-4us-central1 | 0,71 US$ | 1 × L4 24GB | unos 0,71 US$ | unos 516 US$ |
| Lambda (se abre en una pestaña nueva) | 1x A6000us | 1,09 US$ | 1 × RTX A6000 48GB | unos 1,09 US$ | unos 796 US$ |
| Nebius (se abre en una pestaña nueva) | 1x L40S 48GBeu/us | 1,55 US$ | 1 × L40S 48GB | unos 1,55 US$ | unos 1132 US$ |
| Vultr (se abre en una pestaña nueva) | vcg-l40s-16c-180g-48vramus | 1,67 US$ | 1 × L40S 48GB | unos 1,67 US$ | unos 1220 US$ |
| CoreWeave (se abre en una pestaña nueva) | GH200us | 6,50 US$ | 1 × GH200 96GB | unos 6,50 US$ | unos 4745 US$ |
Precios recogidos el 13 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai son mundiales).
Memoria por precisión y uso
| Precisión | Inferencia | Ajuste LoRA | Ajuste QLoRA | Ajuste completo |
|---|---|---|---|---|
| FP16 / BF16 | 1 GB | 1,1 GB | – | 1,4 GB |
| INT8 | 1 GB | – | – | – |
| INT4 | 1 GB | – | 1 GB | – |
La GPU más barata por precisión
Inferencia con contexto de 8K y una petición a la vez.
FP16 / BF16
unos 1 GB · 512 tokens
Los pesos tal como se publican. Sin pérdidas, pero ocupa más.
1 × RTX 3090 24GB
Vast.ai (se abre en una pestaña nueva) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- 0,25 US$
- GPU necesarias
- 1
- Total / h
- unos 0,25 US$
- al mes, 24/7, aprox.
- 183 US$
INT8
unos 1 GB · 512 tokens
Pesos a la mitad de tamaño. En chat y RAG apenas se nota.
1 × RTX 3090 24GB
Vast.ai (se abre en una pestaña nueva) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- 0,25 US$
- GPU necesarias
- 1
- Total / h
- unos 0,25 US$
- al mes, 24/7, aprox.
- 183 US$
INT4
unos 1 GB · 512 tokens
Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.
1 × RTX 3090 24GB
Vast.ai (se abre en una pestaña nueva) · 1x RTX 3090 (median of 29 offers)
- Por GPU / h
- 0,25 US$
- GPU necesarias
- 1
- Total / h
- unos 0,25 US$
- al mes, 24/7, aprox.
- 183 US$
Inferencia frente a ajuste fino
Inferencia (FP16)
1×
de la memoria que pide la inferencia
1 GB
1 × RTX 3090 24GB · unos 0,25 US$
Ajuste LoRA
1×
de la memoria que pide la inferencia
1,1 GB
1 × RTX 3090 24GB · unos 0,25 US$
Ajuste QLoRA
1×
de la memoria que pide la inferencia
1 GB
1 × RTX 3090 24GB · unos 0,25 US$
Ajuste completo
1,3×
de la memoria que pide la inferencia
1,4 GB
1 × RTX 3090 24GB · unos 0,25 US$
Para servirlo en FP16 basta con 1 × RTX 3090 24GB (Vast.ai). LoRA necesita 1 × RTX 3090 24GB (Vast.ai), QLoRA 1 × RTX 3090 24GB (Vast.ai) y un ajuste completo 1 × RTX 3090 24GB (Vast.ai). Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.
¿Funciona en un Mac o en una sola RTX 4090?
RTX 4090 (24 GB)
Sí, en FP16 / BF16 con contexto de 8K: unos 1 GB caben en los 24 GB de la tarjeta.
Mac con Apple silicon
Sí, con memoria suficiente. En INT4 necesita unos 1 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿Ejecutarlo tú o pagar por token?
Ejecutarlo tú
La configuración más barata que encontramos en FP16 es 1 × RTX 3090 24GB en Vast.ai, unos 183 US$ al mes si funciona sin parar. Compensa con tráfico constante o si los datos deben quedarse en tus máquinas.
Usar una API alojada
Nuestra reseña de all-MiniLM-L6-v2 explica dónde usarlo mediante una API y cuánto cuesta. Pagar por token suele salir más barato con tráfico ligero o irregular.
Lee nuestra reseñaModelos parecidos
Modelos abiertos de tamaño parecido.
- embeddinggemma 300mEmbeddings302,9 M · unos 1,7 GB FP16 · 1,1 M ↓Necesidades de GPU
- DINOv3Embeddings303,1 M · unos 1,7 GB FP16 · 698,3 mil ↓Necesidades de GPU
- gte multilingual baseEmbeddings305,4 M · unos 1,7 GB FP16 · 872,8 mil ↓Necesidades de GPU
- Granite Embedding Multilingual R2 (311M and 97M)Embeddings311,7 M · unos 1,7 GB FP16 · 83,9 mil ↓Necesidades de GPU
- ruri v3 310mEmbeddings314,6 M · unos 1,7 GB FP16 · 690,6 mil ↓Necesidades de GPU
- mxbai embed large v1Embeddings335,1 M · unos 1,7 GB FP16 · 2,2 M ↓Necesidades de GPU
all-MiniLM-L6-v2: preguntas frecuentes
¿Cuánta VRAM necesita all-MiniLM-L6-v2?
Unos 1 GB en FP16, 1 GB en INT8 y 1 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.
¿Cuál es la GPU más barata para ejecutar all-MiniLM-L6-v2?
1 × RTX 3090 24GB (unos 0,25 US$ por GPU / hora) en Vast.ai, por unos 0,25 US$ la hora para inferencia en FP16 / BF16 con contexto de 8K. Precios recogidos el 13 nov 2026; cambian a menudo.
¿Puedo hacer ajuste fino de all-MiniLM-L6-v2 en una sola GPU?
Sí, con QLoRA: necesita unos 1 GB, que caben en una GPU de 80 GB. LoRA necesita unos 1,1 GB y un ajuste completo unos 1,4 GB.
¿Cómo se calculan estas cifras?
Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.
¿Funciona all-MiniLM-L6-v2 en una GPU de consumo como la RTX 4090?
Sí, en FP16 / BF16 con contexto de 8K: unos 1 GB caben en los 24 GB de la tarjeta.
¿Cabe all-MiniLM-L6-v2 en una sola H100 de 80 GB?
Sí, en FP16 / BF16, INT8, INT4 con contexto de 8K.
¿Cuántas GPU necesito para all-MiniLM-L6-v2?
En FP16 con contexto de 8K: 1 × 80 GB, 1 × 48 GB o 1 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.
¿Cuánta VRAM necesita all-MiniLM-L6-v2 en INT8?
Unos 1 GB, solo pesos y sobrecarga del motor: este modelo procesa la entrada de una vez, así que no guarda caché KV.
¿Cuánto cuesta tener all-MiniLM-L6-v2 funcionando 24/7 durante un mes?
Unos 183 US$ con la configuración más barata que encontramos (1 × RTX 3090 24GB (unos 0,25 US$ por GPU / hora), 0,25 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 384 US$ al mes.
FP16, INT8 o INT4: ¿cuál uso?
FP16 conserva toda la calidad y necesita más memoria (unos 1 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 1 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.
¿Funciona all-MiniLM-L6-v2 en un Mac?
Sí, con memoria suficiente. En INT4 necesita unos 1 GB, así que un Mac con 16 GB o más de memoria unificada (macOS deja a la GPU usar unas tres cuartas partes). La generación será más lenta que en una GPU de centro de datos.
¿vLLM o llama.cpp?
vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.
Precios recogidos el 13 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai son mundiales).
Cómo calculamos
- Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
- Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
- Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
- Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
- GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.