Qwen3-Embedding and Qwen3-Reranker : configuration GPU requise, VRAM et GPU le moins cher
Qwen3-Embedding and Qwen3-Reranker compte 7,6 Md paramètres, publiés en BF16. Il est publié sous apache-2.0, qui autorise l’usage commercial.
- Paramètres
- 7,6 Md
- Empreinte minimale (INT4)
- environ 5,4 Go
- GPU le moins cher par heure (FP16)
- 0,25 $US
- Type
- Embeddings
Qwen/Qwen3-Embedding-8B
Voir sur Hugging Face (s’ouvre dans un nouvel onglet)Lire notre test
- Paramètres 7,6 Md
- Type Embeddings
- Tâche feature-extraction
- Contexte max. 40K
- Licence apache-2.0
- Téléchargements 2,3 M
- J’aime 858
Calcul pour Qwen3-Embedding and Qwen3-Reranker
Plus de réglages
Qwen3-Embedding and Qwen3-Reranker demande environ 18 Go de mémoire GPU
Inférence (vLLM), FP16 / BF16, contexte de 8K tokens, une requête à la fois.
Où va la mémoire
- Poids 15 Go
- Surcoût du moteur 2,5 Go
- Total 18 Go
Le nombre de GPU laisse 10 % de chaque carte libre pour les pics. Prévoyez davantage si vous attendez de longs prompts ou beaucoup d’utilisateurs en même temps.
| Rang | Configuration | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) | Fournisseur |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBLa moins chèreAmpere · GDDR6X | 0,25 $US | 1 | 0,25 $US | 183 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x RTX 3090 (median of 29 offers) |
| 2 | 2 × V100 16GBVolta · HBM2 | 0,15 $US | 2 | 0,30 $US | 220 $US | Vast.ai (s’ouvre dans un nouvel onglet)2x Tesla V100 (median of 4 offers) |
| 3 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,48 $US | 1 | 0,48 $US | 354 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x RTX 4090 (median of 34 offers) |
| 4 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 $US | 1 | 0,50 $US | 365 $US | RunPod (s’ouvre dans un nouvel onglet)1x RTX PRO 6000 MaxQ |
| 5 | 1 × A40 48GBAmpere · GDDR6 | 0,59 $US | 1 | 0,59 $US | 431 $US | RunPod (s’ouvre dans un nouvel onglet)1x A40 |
| 6 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,67 $US | 1 | 0,67 $US | 488 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x RTX 6000Ada (median of 8 offers) |
| 7 | 1 × A100 40GBAmpere · HBM2 | 0,68 $US | 1 | 0,68 $US | 497 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x A100 SXM4 (median of 8 offers) |
| 8 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,69 $US | 1 | 0,69 $US | 504 $US | RunPod (s’ouvre dans un nouvel onglet)1x RTX A6000 |
| 9 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,69 $US | 1 | 0,69 $US | 504 $US | RunPod (s’ouvre dans un nouvel onglet)1x L4 |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,78 $US | 1 | 0,78 $US | 571 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x L40S (median of 6 offers) |
| 11 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,87 $US | 1 | 0,87 $US | 634 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x RTX 5090 (median of 55 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | 1,01 $US | 1 | 1,01 $US | 734 $US | AWS (s’ouvre dans un nouvel onglet)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | 1,21 $US | 1 | 1,21 $US | 884 $US | Vast.ai (s’ouvre dans un nouvel onglet)1x A100 SXM4 (median of 8 offers) |
| 14 | 1 × GH200 96GBHopper · HBM3 | 1,99 $US | 1 | 1,99 $US | 1 453 $US | Vultr (s’ouvre dans un nouvel onglet)vbm-72c-480gb-gh200-gpu (bare metal) |
| 15 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $US | 1 | 2,39 $US | 1 745 $US | RunPod (s’ouvre dans un nouvel onglet)1x MI300X |
| 16 | 1 × H100 80GBHopper · HBM3 | 2,89 $US | 1 | 2,89 $US | 2 110 $US | RunPod (s’ouvre dans un nouvel onglet)1x H100 PCIe |
| 17 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 $US | 1 | 3,19 $US | 2 329 $US | RunPod (s’ouvre dans un nouvel onglet)1x H100 NVL |
| 18 | 1 × H200 141GBHopper · HBM3e | 3,79 $US | 1 | 3,79 $US | 2 767 $US | RunPod (s’ouvre dans un nouvel onglet)1x H200 NVL |
| 19 | 2 × T4 16GBTuring · GDDR6 | 0,98 $US | 2vendue avec 4 GPU ; il vous en faut 2 | 3,91 $US | 2 856 $US | AWS (s’ouvre dans un nouvel onglet)g4dn.12xlarge |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 7,99 $US | 1 | 7,99 $US | 5 833 $US | RunPod (s’ouvre dans un nouvel onglet)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 $US | 1 | 8,99 $US | 6 563 $US | RunPod (s’ouvre dans un nouvel onglet)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 $US | 1vendue avec 4 GPU ; il vous en faut 1 | 42,00 $US | 30 660 $US | CoreWeave (s’ouvre dans un nouvel onglet)GB200 NVL72 |
| Fournisseur | Instance | Par GPU / h | GPU nécessaires | Total / h | Total / mois (24/7) |
|---|---|---|---|---|---|
| Vast.ai (s’ouvre dans un nouvel onglet)La moins chère | 1x RTX 3090 (median of 29 offers)place de marché mondiale | 0,25 $US | 1 × RTX 3090 24GB | environ 0,25 $US | environ 183 $US |
| RunPod (s’ouvre dans un nouvel onglet) | 1x RTX 3090 Tius | 0,46 $US | 1 × RTX 3090 24GB | environ 0,46 $US | environ 336 $US |
| Google Cloud (s’ouvre dans un nouvel onglet) | g2-standard-4us-central1 | 0,71 $US | 1 × L4 24GB | environ 0,71 $US | environ 516 $US |
| AWS (s’ouvre dans un nouvel onglet) | g6.xlargeus-east-1 | 0,80 $US | 1 × L4 24GB | environ 0,80 $US | environ 588 $US |
| Lambda (s’ouvre dans un nouvel onglet) | 1x A6000us | 1,09 $US | 1 × RTX A6000 48GB | environ 1,09 $US | environ 796 $US |
| Nebius (s’ouvre dans un nouvel onglet) | 1x L40S 48GBeu/us | 1,55 $US | 1 × L40S 48GB | environ 1,55 $US | environ 1 132 $US |
| Vultr (s’ouvre dans un nouvel onglet) | vcg-l40s-16c-180g-48vramus | 1,67 $US | 1 × L40S 48GB | environ 1,67 $US | environ 1 220 $US |
| Azure (s’ouvre dans un nouvel onglet) | NV36ads_A10_v5eastus | 3,20 $US | 1 × A10 24GB | environ 3,20 $US | environ 2 336 $US |
| CoreWeave (s’ouvre dans un nouvel onglet) | GH200us | 6,50 $US | 1 × GH200 96GB | environ 6,50 $US | environ 4 745 $US |
Prix relevés le 13 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai sont mondiales).
Mémoire par précision et par usage
| Précision | Inférence | Fine-tuning LoRA | Fine-tuning QLoRA | Fine-tuning complet |
|---|---|---|---|---|
| FP16 / BF16 | 18 Go | 24 Go | – | 138 Go |
| INT8 | 9,7 Go | – | – | – |
| INT4 | 5,4 Go | – | 12 Go | – |
Le GPU le moins cher par précision
Inférence avec un contexte de 8K et une requête à la fois.
FP16 / BF16
environ 18 Go · 8K tokens
Les poids tels que publiés. Aucune perte, mais l’empreinte la plus lourde.
1 × RTX 3090 24GB
Vast.ai (s’ouvre dans un nouvel onglet) · 1x RTX 3090 (median of 29 offers)
- Par GPU / h
- 0,25 $US
- GPU nécessaires
- 1
- Total / h
- environ 0,25 $US
- par mois, 24/7, environ
- 183 $US
INT8
environ 9,7 Go · 8K tokens
Des poids deux fois plus légers. Pour le chat et le RAG, la différence se voit à peine.
1 × RTX 3090 24GB
Vast.ai (s’ouvre dans un nouvel onglet) · 1x RTX 3090 (median of 29 offers)
- Par GPU / h
- 0,25 $US
- GPU nécessaires
- 1
- Total / h
- environ 0,25 $US
- par mois, 24/7, environ
- 183 $US
INT4
environ 5,4 Go · 8K tokens
Des poids quatre fois plus légers. Les petites pertes apparaissent d’abord en maths et en code.
1 × RTX 3090 24GB
Vast.ai (s’ouvre dans un nouvel onglet) · 1x RTX 3090 (median of 29 offers)
- Par GPU / h
- 0,25 $US
- GPU nécessaires
- 1
- Total / h
- environ 0,25 $US
- par mois, 24/7, environ
- 183 $US
Inférence ou fine-tuning
Inférence (FP16)
1×
de la mémoire nécessaire à l’inférence
18 Go
1 × RTX 3090 24GB · environ 0,25 $US
Fine-tuning LoRA
1,4×
de la mémoire nécessaire à l’inférence
24 Go
2 × V100 16GB · environ 0,30 $US
Fine-tuning QLoRA
0,7×
de la mémoire nécessaire à l’inférence
12 Go
1 × RTX 3090 24GB · environ 0,25 $US
Fine-tuning complet
7,8×
de la mémoire nécessaire à l’inférence
138 Go
4 × A40 48GB · environ 2,36 $US
Pour le servir en FP16, 1 × RTX 3090 24GB (Vast.ai) suffit. LoRA demande 2 × V100 16GB (Vast.ai), QLoRA 1 × RTX 3090 24GB (Vast.ai) et un fine-tuning complet 4 × A40 48GB (RunPod). L’entraînement garde en mémoire les activations et l’état de l’optimiseur en plus des poids, d’où un besoin fréquent de plus de GPU que pour servir le même modèle.
Fonctionne-t-il sur un Mac ou une seule RTX 4090 ?
RTX 4090 (24 Go)
Oui, en FP16 / BF16 avec un contexte de 8K : environ 18 Go tiennent dans les 24 Go de la carte.
Mac avec puce Apple
Oui, avec assez de mémoire. En INT4, il demande environ 5,4 Go, donc un Mac avec 16 Go ou plus de mémoire unifiée (macOS en laisse environ les trois quarts au GPU). La génération sera plus lente que sur un GPU de centre de données.
L’héberger vous-même ou payer au token ?
L’héberger vous-même
La configuration FP16 la moins chère que nous ayons trouvée est 1 × RTX 3090 24GB chez Vast.ai, environ 183 $US par mois en continu. Intéressant pour un trafic régulier ou des données qui doivent rester sur vos machines.
Passer par une API hébergée
Notre test de Qwen3-Embedding and Qwen3-Reranker indique où l’utiliser via une API et à quel prix. Payer au token revient souvent moins cher pour un trafic faible ou irrégulier.
Lire notre testModèles similaires
Des modèles ouverts de taille comparable.
- Qwen3-VL-EmbeddingEmbeddings8,1 Md · environ 19 Go FP16 · 582,7 k ↓Besoins en GPU
- Nemotron 3.5 Rerank 8BEmbeddings8,4 Md · environ 19 Go FP16 · 8,2 k ↓Besoins en GPU
- Nemotron ColEmbed V2Embeddings8,8 Md · environ 20 Go FP16 · 1,3 k ↓Besoins en GPU
- zerank-2Embeddings4 Md · environ 9,8 Go FP16 · 68,2 k ↓Besoins en GPU
- Qwen3 Embedding 4BEmbeddings4 Md · environ 9,8 Go FP16 · 2,4 M ↓Besoins en GPU
- Qwen3 VL Embedding 2BEmbeddings2,1 Md · environ 5,7 Go FP16 · 480,3 k ↓Besoins en GPU
Qwen3-Embedding and Qwen3-Reranker : questions fréquentes
Combien de VRAM faut-il pour Qwen3-Embedding and Qwen3-Reranker ?
Environ 18 Go en FP16, 9,7 Go en INT8 et 5,4 Go en INT4, avec un contexte de 8K et une requête à la fois. Un contexte plus long et davantage de requêtes en parallèle ajoutent du cache KV.
Quel est le GPU le moins cher pour faire tourner Qwen3-Embedding and Qwen3-Reranker ?
1 × RTX 3090 24GB (environ 0,25 $US par GPU / heure) chez Vast.ai, pour environ 0,25 $US de l’heure en inférence FP16 / BF16 avec un contexte de 8K. Prix relevés le 13 nov. 2026 ; ils changent souvent.
Peut-on faire le fine-tuning de Qwen3-Embedding and Qwen3-Reranker sur un seul GPU ?
Oui, avec QLoRA : il faut environ 12 Go, ce qui tient sur un GPU de 80 Go. LoRA demande environ 24 Go et un fine-tuning complet environ 138 Go.
Comment ces chiffres sont-ils calculés ?
Les poids correspondent aux paramètres multipliés par les octets par paramètre (2 en FP16, 1 en INT8, 0,5 en INT4). Le cache KV dépend des couches, des têtes KV, de la taille de tête et de la longueur de contexte du modèle. Nous ajoutons environ 10 % plus 1 Go pour le moteur et remplissons chaque GPU à 90 %. Les prix sont les tarifs catalogue à la demande dans les régions des États-Unis, relevés sur la page publique de chaque fournisseur.
Qwen3-Embedding and Qwen3-Reranker fonctionne-t-il sur un GPU grand public comme la RTX 4090 ?
Oui, en FP16 / BF16 avec un contexte de 8K : environ 18 Go tiennent dans les 24 Go de la carte.
Qwen3-Embedding and Qwen3-Reranker tient-il sur une seule H100 80 Go ?
Oui, en FP16 / BF16, INT8, INT4 avec un contexte de 8K.
Combien de GPU faut-il pour Qwen3-Embedding and Qwen3-Reranker ?
En FP16 avec un contexte de 8K : 1 × 80 Go, 1 × 48 Go ou 1 × 24 Go. En INT4, les poids prennent environ le quart de la mémoire.
Combien de VRAM faut-il pour Qwen3-Embedding and Qwen3-Reranker en INT8 ?
Environ 9,7 Go, poids et surcoût du moteur seulement : ce modèle traite l’entrée en une passe et ne garde pas de cache KV.
Combien coûte Qwen3-Embedding and Qwen3-Reranker en fonctionnement 24/7 pendant un mois ?
Environ 183 $US avec la configuration la moins chère que nous avons trouvée (1 × RTX 3090 24GB (environ 0,25 $US par GPU / heure), 0,25 $US de l’heure pendant 730 heures). Le moins cher chez AWS, Google Cloud ou Azure revient à environ 516 $US par mois.
FP16, INT8 ou INT4 : lequel choisir ?
Le FP16 garde toute la qualité et demande le plus de mémoire (environ 18 Go ici). L’INT8 divise les poids par deux avec peu de perte pour la plupart des usages de chat. L’INT4 (AWQ, GPTQ ou GGUF Q4) les réduit au quart, environ 5,4 Go au total, avec une légère baisse de qualité, surtout visible en maths et en code.
Qwen3-Embedding and Qwen3-Reranker fonctionne-t-il sur un Mac ?
Oui, avec assez de mémoire. En INT4, il demande environ 5,4 Go, donc un Mac avec 16 Go ou plus de mémoire unifiée (macOS en laisse environ les trois quarts au GPU). La génération sera plus lente que sur un GPU de centre de données.
vLLM ou llama.cpp ?
vLLM est conçu pour servir de nombreuses requêtes à la fois sur des GPU NVIDIA et AMD et réserve l’essentiel de la mémoire GPU au cache KV. llama.cpp lit les fichiers GGUF sur presque tout, Mac et CPU compris, et convient à une personne ou à une petite équipe. À précision égale, la mémoire nécessaire est proche.
Prix relevés le 13 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai sont mondiales).
Notre méthode de calcul
- Poids. Paramètres multipliés par les octets par paramètre : 2 en FP16, 1 en INT8, 0,5 en INT4, plus environ 5 % pour les échelles de quantification en INT8 et INT4.
- Cache KV. 2 × couches × têtes KV × taille de tête × contexte × requêtes × 2 octets, d’après le config.json du modèle. Si une valeur manque, nous l’estimons et le signalons.
- Surcoût. Environ 10 % plus 1 Go pour le moteur, dans la ligne de ce que réserve vLLM.
- Fine-tuning. LoRA garde des poids en 16 bits et ajoute un petit adaptateur, son optimiseur et les activations. QLoRA fait de même sur des poids en 4 bits. Un fine-tuning complet demande environ 16 octets par paramètre avec Adam en précision mixte (poids, gradients et états de l’optimiseur), plus les activations.
- GPU. Nous remplissons chaque GPU à 90 % de sa mémoire et nous arrêtons à 8 par nœud. Les coûts sont les prix catalogue à la demande dans les régions des États-Unis ; pour les places de marché, nous montrons l’offre médiane.