Qwen3.8-27B GPU-Anforderungen: VRAM und günstigste GPU
Qwen3.8-27B hat 27,8 Mrd. Parameter, veröffentlicht in BF16. Es verarbeitet bis zu 256K Tokens Kontext. Bei dieser Länge belegt allein der KV-Cache etwa 17 GB pro Anfrage, lange Prompts können also die nötige GPU verändern. Es steht unter apache-2.0, die kommerzielle Nutzung erlaubt.
- Parameter
- 27,8 Mrd.
- Kleinster Bedarf (INT4)
- etwa 18 GB
- Günstigste GPU pro Stunde (FP16)
- 0,50 $
- Typ
- Vision
Qwen/Qwen3.8-27B
Auf Hugging Face ansehen (öffnet in neuem Tab)Unseren Test lesen
- Parameter 27,8 Mrd.
- Typ Vision
- Aufgabe image-text-to-text
- Max. Kontext 256K
- Lizenz apache-2.0
- Downloads 7 Mio.
- Likes 19.848
Berechnung für Qwen3.8-27B
Weitere Einstellungen
Qwen3.8-27B braucht etwa 63 GB GPU-Speicher
Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig.
Wofür der Speicher draufgeht
- Gewichte 56 GB
- KV-Cache 0,54 GB
- Laufzeit-Overhead 6,6 GB
- Gesamt 63 GB
Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.
| Rang | Konfiguration | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) | Anbieter |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX PRO 6000 96GBAm günstigstenBlackwell · GDDR7 | 0,50 $ | 1 | 0,50 $ | 365 $ | RunPod (öffnet in neuem Tab)1x RTX PRO 6000 MaxQ |
| 2 | 3 × RTX 3090 24GBAmpere · GDDR6X | 0,26 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 1,06 $ | 772 $ | Vast.ai (öffnet in neuem Tab)4x RTX 3090 (median of 5 offers) |
| 3 | 2 × A40 48GBAmpere · GDDR6 | 0,59 $ | 2 | 1,18 $ | 861 $ | RunPod (öffnet in neuem Tab)2x A40 |
| 4 | 1 × A100 80GBAmpere · HBM2e | 1,21 $ | 1 | 1,21 $ | 884 $ | Vast.ai (öffnet in neuem Tab)1x A100 SXM4 (median of 8 offers) |
| 5 | 2 × A100 40GBAmpere · HBM2 | 0,62 $ | 2 | 1,24 $ | 903 $ | Vast.ai (öffnet in neuem Tab)2x A100 SXM4 (median of 3 offers) |
| 6 | 2 × RTX A6000 48GBAmpere · GDDR6 | 0,69 $ | 2 | 1,38 $ | 1.007 $ | RunPod (öffnet in neuem Tab)2x RTX A6000 |
| 7 | 2 × L40S 48GBAda Lovelace · GDDR6 | 0,79 $ | 2 | 1,57 $ | 1.150 $ | Vast.ai (öffnet in neuem Tab)2x L40S (median of 4 offers) |
| 8 | 1 × GH200 96GBHopper · HBM3 | 1,99 $ | 1 | 1,99 $ | 1.453 $ | Vultr (öffnet in neuem Tab)vbm-72c-480gb-gh200-gpu (bare metal) |
| 9 | 3 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,53 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 2,14 $ | 1.561 $ | Vast.ai (öffnet in neuem Tab)4x RTX 4090 (median of 14 offers) |
| 10 | 2 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 1,09 $ | 2 | 2,18 $ | 1.591 $ | RunPod (öffnet in neuem Tab)2x RTX 6000 Ada |
| 11 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $ | 1 | 2,39 $ | 1.745 $ | RunPod (öffnet in neuem Tab)1x MI300X |
| 12 | 3 × L4 24GBAda Lovelace · GDDR6 | 0,69 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 2,76 $ | 2.015 $ | RunPod (öffnet in neuem Tab)4x L4 |
| 13 | 1 × H100 80GBHopper · HBM3 | 2,89 $ | 1 | 2,89 $ | 2.110 $ | RunPod (öffnet in neuem Tab)1x H100 PCIe |
| 14 | 3 × RTX 5090 32GBBlackwell · GDDR7 | 0,73 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 2,94 $ | 2.143 $ | Vast.ai (öffnet in neuem Tab)4x RTX 5090 (median of 35 offers) |
| 15 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 $ | 1 | 3,19 $ | 2.329 $ | RunPod (öffnet in neuem Tab)1x H100 NVL |
| 16 | 1 × H200 141GBHopper · HBM3e | 3,79 $ | 1 | 3,79 $ | 2.767 $ | RunPod (öffnet in neuem Tab)1x H200 NVL |
| 17 | 3 × A10 24GBAmpere · GDDR6 | 1,42 $ | 3nur mit 4 GPUs erhältlich; du brauchst 3 | 5,67 $ | 4.141 $ | AWS (öffnet in neuem Tab)g5.12xlarge |
| 18 | 5 × V100 16GBVolta · HBM2 | 0,79 $ | 5nur mit 8 GPUs erhältlich; du brauchst 5 | 6,32 $ | 4.614 $ | Lambda (öffnet in neuem Tab)8x Tesla V100 |
| 19 | 5 × T4 16GBTuring · GDDR6 | 0,98 $ | 5nur mit 8 GPUs erhältlich; du brauchst 5 | 7,82 $ | 5.712 $ | AWS (öffnet in neuem Tab)g4dn.metal |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 7,99 $ | 1 | 7,99 $ | 5.833 $ | RunPod (öffnet in neuem Tab)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,99 $ | 1 | 8,99 $ | 6.563 $ | RunPod (öffnet in neuem Tab)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 $ | 1nur mit 4 GPUs erhältlich; du brauchst 1 | 42,00 $ | 30.660 $ | CoreWeave (öffnet in neuem Tab)GB200 NVL72 |
| Anbieter | Instanz | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) |
|---|---|---|---|---|---|
| RunPod (öffnet in neuem Tab)Am günstigsten | 1x RTX PRO 6000 MaxQus | 0,50 $ | 1 × RTX PRO 6000 96GB | etwa 0,50 $ | etwa 365 $ |
| Vast.ai (öffnet in neuem Tab) | 4x RTX 3090 (median of 5 offers)weltweiter Marktplatz | 0,26 $ | 3 × RTX 3090 24GB nur mit 4 GPUs erhältlich; du brauchst 3 | etwa 1,06 $ | etwa 772 $ |
| Nebius (öffnet in neuem Tab) | 1x RTX PRO 6000 96GBeu/us | 1,80 $ | 1 × RTX PRO 6000 96GB | etwa 1,80 $ | etwa 1.314 $ |
| Vultr (öffnet in neuem Tab) | vbm-72c-480gb-gh200-gpu (bare metal)us | 1,99 $ | 1 × GH200 96GB | etwa 1,99 $ | etwa 1.453 $ |
| Lambda (öffnet in neuem Tab) | 2x A6000us | 1,09 $ | 2 × RTX A6000 48GB | etwa 2,18 $ | etwa 1.591 $ |
| AWS (öffnet in neuem Tab) | g7e.2xlargeus-east-1 | 3,36 $ | 1 × RTX PRO 6000 96GB | etwa 3,36 $ | etwa 2.455 $ |
| Azure (öffnet in neuem Tab) | NC24ads_A100_v4eastus | 3,67 $ | 1 × A100 80GB | etwa 3,67 $ | etwa 2.681 $ |
| Google Cloud (öffnet in neuem Tab) | g2-standard-48us-central1 | 1,00 $ | 3 × L4 24GB nur mit 4 GPUs erhältlich; du brauchst 3 | etwa 4,00 $ | etwa 2.921 $ |
| CoreWeave (öffnet in neuem Tab) | GH200us | 6,50 $ | 1 × GH200 96GB | etwa 6,50 $ | etwa 4.745 $ |
Preise erfasst am 13. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai sind weltweit).
Speicher nach Genauigkeit und Einsatz
| Genauigkeit | Inferenz | LoRA-Feintuning | QLoRA-Feintuning | Volles Feintuning |
|---|---|---|---|---|
| FP16 / BF16 | 63 GB | 79 GB | – | 497 GB |
| INT8 | 34 GB | – | – | – |
| INT4 | 18 GB | – | 34 GB | – |
Günstigste GPU nach Genauigkeit
Inferenz mit 8K Kontext und einer Anfrage gleichzeitig.
FP16 / BF16
etwa 63 GB · 8K Tokens
Die Gewichte wie veröffentlicht. Kein Verlust, aber der größte Bedarf.
1 × RTX PRO 6000 96GB
RunPod (öffnet in neuem Tab) · 1x RTX PRO 6000 MaxQ
- Pro GPU / Std.
- 0,50 $
- Benötigte GPUs
- 1
- Gesamt / Std.
- etwa 0,50 $
- pro Monat, 24/7, ca.
- 365 $
INT8
etwa 34 GB · 8K Tokens
Gewichte in halber Größe. Bei Chat und RAG meist kein sichtbarer Unterschied.
1 × RTX PRO 6000 96GB
RunPod (öffnet in neuem Tab) · 1x RTX PRO 6000 MaxQ
- Pro GPU / Std.
- 0,50 $
- Benötigte GPUs
- 1
- Gesamt / Std.
- etwa 0,50 $
- pro Monat, 24/7, ca.
- 365 $
INT4
etwa 18 GB · 8K Tokens
Gewichte auf ein Viertel verkleinert. Kleine Verluste zeigen sich zuerst bei Mathematik und Code.
1 × RTX 3090 24GB
Vast.ai (öffnet in neuem Tab) · 1x RTX 3090 (median of 29 offers)
- Pro GPU / Std.
- 0,25 $
- Benötigte GPUs
- 1
- Gesamt / Std.
- etwa 0,25 $
- pro Monat, 24/7, ca.
- 183 $
Inferenz oder Feintuning
Inferenz (FP16)
1×
des Speichers für Inferenz
63 GB
1 × RTX PRO 6000 96GB · etwa 0,50 $
LoRA-Feintuning
1,3×
des Speichers für Inferenz
79 GB
1 × RTX PRO 6000 96GB · etwa 0,50 $
QLoRA-Feintuning
0,5×
des Speichers für Inferenz
34 GB
1 × RTX PRO 6000 96GB · etwa 0,50 $
Volles Feintuning
7,9×
des Speichers für Inferenz
497 GB
3 × MI300X 192GB · etwa 9,56 $
Für den Betrieb in FP16 reicht 1 × RTX PRO 6000 96GB (RunPod). LoRA braucht 1 × RTX PRO 6000 96GB (RunPod), QLoRA 1 × RTX PRO 6000 96GB (RunPod) und volles Feintuning 3 × MI300X 192GB (RunPod). Training hält neben den Gewichten auch Aktivierungen und Optimiererzustände im Speicher und braucht deshalb oft mehr GPUs als der Betrieb desselben Modells.
Läuft es auf einem Mac oder einer einzelnen RTX 4090?
RTX 4090 (24 GB)
Ja, bei INT4 mit 8K Kontext: etwa 18 GB passen in die 24 GB der Karte.
Mac mit Apple Silicon
Ja, mit genug Speicher. Bei INT4 braucht es etwa 18 GB, also einen Mac mit 24 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.
Selbst betreiben oder pro Token zahlen?
Selbst betreiben
Die günstigste Konfiguration in FP16, die wir gefunden haben, ist 1 × RTX PRO 6000 96GB bei RunPod, etwa 365 $ im Monat im Dauerbetrieb. Lohnt sich bei gleichmäßigem Verkehr oder wenn die Daten auf eigenen Rechnern bleiben müssen.
Eine gehostete API nutzen
Unser Test von Qwen3.8-27B zeigt, wo du es per API nutzen kannst und was das kostet. Bei wenig oder schwankendem Verkehr ist Zahlen pro Token meist günstiger.
Unseren Test lesenÄhnliche Modelle
Offene Modelle ähnlicher Größe.
- Qwen3.6 27BVision27,8 Mrd. · etwa 63 GB FP16 · 2,4 Mio. ↓GPU-Bedarf
- Qwen3.5 27BVision27,8 Mrd. · etwa 63 GB FP16 · 1,7 Mio. ↓GPU-Bedarf
- AutoTrust Decider Pro Vision 27BVision27,8 Mrd. · etwa 63 GB FP16 · 1,5 Mio. ↓GPU-Bedarf
- ClefVision27,4 Mrd. · etwa 62 GB FP16 · 73.460 ↓GPU-Bedarf
- Qwen3.8 27B Coder390 EfficientThink Opus5.5 GPT6Astra Grok4.7 DSV4Pro K3 SFT RLOO MTP DFlash2Vision27,3 Mrd. · etwa 63 GB FP16 · 915.697 ↓GPU-Bedarf
- Muse GlimmerVision29,8 Mrd. · etwa 67 GB FP16 · 159.160 ↓GPU-Bedarf
Qwen3.8-27B: häufige Fragen
Wie viel VRAM braucht Qwen3.8-27B?
Etwa 63 GB bei FP16, 34 GB bei INT8 und 18 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.
Was ist die günstigste GPU für Qwen3.8-27B?
1 × RTX PRO 6000 96GB (etwa 0,50 $ pro GPU / Stunde) bei RunPod, für etwa 0,50 $ pro Stunde bei Inferenz in FP16 / BF16 mit 8K Kontext. Preise erfasst am 13. Nov. 2026; sie ändern sich oft.
Kann ich Qwen3.8-27B auf einer einzelnen GPU feintunen?
Ja, mit QLoRA: Es braucht etwa 34 GB, das passt auf eine 80-GB-GPU. LoRA braucht etwa 79 GB, volles Feintuning etwa 497 GB.
Wie werden diese Zahlen berechnet?
Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.
Läuft Qwen3.8-27B auf einer Consumer-GPU wie der RTX 4090?
Ja, bei INT4 mit 8K Kontext: etwa 18 GB passen in die 24 GB der Karte.
Passt Qwen3.8-27B auf eine einzelne H100 80GB?
Ja, bei FP16 / BF16, INT8, INT4 mit 8K Kontext.
Wie viele GPUs brauche ich für Qwen3.8-27B?
Bei FP16 mit 8K Kontext: 1 × 80 GB, 2 × 48 GB oder 3 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.
Wie viel VRAM braucht Qwen3.8-27B bei INT8?
Etwa 34 GB: 29 GB für die Gewichte, 0,54 GB für einen KV-Cache mit 8K und 4 GB Laufzeit-Overhead.
Was kostet es, Qwen3.8-27B einen Monat lang rund um die Uhr zu betreiben?
Etwa 365 $ mit der günstigsten Konfiguration, die wir gefunden haben (1 × RTX PRO 6000 96GB (etwa 0,50 $ pro GPU / Stunde), 0,50 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 2.455 $ im Monat.
FP16, INT8 oder INT4: was soll ich nehmen?
FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 63 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 18 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.
Läuft Qwen3.8-27B auf einem Mac?
Ja, mit genug Speicher. Bei INT4 braucht es etwa 18 GB, also einen Mac mit 24 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.
vLLM oder llama.cpp?
vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.
Preise erfasst am 13. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai sind weltweit).
So rechnen wir
- Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
- KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
- Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
- Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
- GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.