GPU-Rechner
Wie viel GPU braucht ein offenes Modell?
Wähle ein beliebiges offenes Modell auf Hugging Face. Wir berechnen, wie viel Speicher es braucht, wie viele GPUs das sind und was der Betrieb bei AWS, Google Cloud, Azure und den GPU-Clouds ungefähr kostet.
Qwen3 0.6B Qwen/Qwen3-0.6B
Eigene SeiteBerechnung für Qwen3 0.6B
Weitere Einstellungen
Qwen3 0.6B braucht etwa 3,7 GB GPU-Speicher
Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig.
Wofür der Speicher draufgeht
- Gewichte 1,5 GB
- KV-Cache 0,94 GB
- Laufzeit-Overhead 1,2 GB
- Gesamt 3,7 GB
Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.
| Rang | Konfiguration | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) | Anbieter |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GBAm günstigstenAmpere · GDDR6X | 0,16 $ | 1 | 0,16 $ | 117 $ | Lium (öffnet in neuem Tab)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | 0,30 $ | 1 | 0,30 $ | 219 $ | Lium (öffnet in neuem Tab)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | 0,40 $ | 1 | 0,40 $ | 292 $ | Lium (öffnet in neuem Tab)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | 0,42 $ | 1 | 0,42 $ | 307 $ | Lium (öffnet in neuem Tab)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | 0,45 $ | 1 | 0,45 $ | 326 $ | Vast.ai (öffnet in neuem Tab)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | 0,50 $ | 1 | 0,50 $ | 365 $ | RunPod (öffnet in neuem Tab)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | 0,52 $ | 1 | 0,52 $ | 381 $ | Vast.ai (öffnet in neuem Tab)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | 0,53 $ | 1 | 0,53 $ | 384 $ | AWS (öffnet in neuem Tab)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | 0,75 $ | 1 | 0,75 $ | 548 $ | Lium (öffnet in neuem Tab)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | 0,80 $ | 1 | 0,80 $ | 585 $ | Vast.ai (öffnet in neuem Tab)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | 0,80 $ | 1 | 0,80 $ | 586 $ | Vast.ai (öffnet in neuem Tab)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | 1,01 $ | 1 | 1,01 $ | 734 $ | AWS (öffnet in neuem Tab)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | 1,12 $ | 1 | 1,12 $ | 820 $ | Vast.ai (öffnet in neuem Tab)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | 1,39 $ | 1 | 1,39 $ | 1.015 $ | Lium (öffnet in neuem Tab)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | 1,99 $ | 1 | 1,99 $ | 1.453 $ | Vultr (öffnet in neuem Tab)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | 2,39 $ | 1 | 2,39 $ | 1.745 $ | RunPod (öffnet in neuem Tab)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | 2,90 $ | 1 | 2,90 $ | 2.117 $ | Lium (öffnet in neuem Tab)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | 3,06 $ | 1 | 3,06 $ | 2.234 $ | AWS (öffnet in neuem Tab)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | 3,19 $ | 1 | 3,19 $ | 2.329 $ | RunPod (öffnet in neuem Tab)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | 5,60 $ | 1 | 5,60 $ | 4.088 $ | Lium (öffnet in neuem Tab)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | 8,00 $ | 1 | 8,00 $ | 5.840 $ | Lium (öffnet in neuem Tab)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | 10,50 $ | 1nur mit 4 GPUs erhältlich; du brauchst 1 | 42,00 $ | 30.660 $ | CoreWeave (öffnet in neuem Tab)GB200 NVL72 |
| Anbieter | Instanz | Pro GPU / Std. | Benötigte GPUs | Gesamt / Std. | Gesamt / Monat (24/7) |
|---|---|---|---|---|---|
| Lium (öffnet in neuem Tab)Am günstigsten | 1x RTX 3090 Tiweltweiter Marktplatz | 0,16 $ | 1 × RTX 3090 24GB | etwa 0,16 $ | etwa 117 $ |
| Vast.ai (öffnet in neuem Tab) | 1x RTX 3090 (median of 32 offers)weltweiter Marktplatz | 0,26 $ | 1 × RTX 3090 24GB | etwa 0,26 $ | etwa 186 $ |
| RunPod (öffnet in neuem Tab) | 1x RTX 3090 Tius | 0,46 $ | 1 × RTX 3090 24GB | etwa 0,46 $ | etwa 336 $ |
| AWS (öffnet in neuem Tab) | g4dn.xlargeus-east-1 | 0,53 $ | 1 × T4 16GB | etwa 0,53 $ | etwa 384 $ |
| Azure (öffnet in neuem Tab) | NC4as_T4_v3eastus | 0,53 $ | 1 × T4 16GB | etwa 0,53 $ | etwa 384 $ |
| Google Cloud (öffnet in neuem Tab) | g2-standard-4us-central1 | 0,71 $ | 1 × L4 24GB | etwa 0,71 $ | etwa 516 $ |
| Lambda (öffnet in neuem Tab) | 1x A6000us | 1,09 $ | 1 × RTX A6000 48GB | etwa 1,09 $ | etwa 796 $ |
| Nebius (öffnet in neuem Tab) | 1x L40S 48GBeu/us | 1,55 $ | 1 × L40S 48GB | etwa 1,55 $ | etwa 1.132 $ |
| Vultr (öffnet in neuem Tab) | vcg-l40s-16c-180g-48vramus | 1,67 $ | 1 × L40S 48GB | etwa 1,67 $ | etwa 1.220 $ |
| CoreWeave (öffnet in neuem Tab) | GH200us | 6,50 $ | 1 × GH200 96GB | etwa 6,50 $ | etwa 4.745 $ |
Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).
Ähnliche Modelle
Offene Modelle ähnlicher Größe.
- Qwen3 0.6BText751,6 Mio. · etwa 3,7 GB FP16 · 835.268 ↓GPU-Bedarf
- gpt2 largeText811,8 Mio. · etwa 3 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- BitNet b1.58 2B4TText849,8 Mio. · etwa 3,2 GB FP16 · 8890 ↓GPU-Bedarf
- Qwen3 0.6B BaseText596 Mio. · etwa 3,3 GB FP16 · 490.796 ↓GPU-Bedarf
- bloomz 560mText559,2 Mio. · etwa 2,7 GB FP16 · 789.128 ↓GPU-Bedarf
- Limite 1B - ViolettoText1 Mrd. · etwa 3,7 GB FP16 · 3381 ↓GPU-Bedarf
Qwen3 0.6B: häufige Fragen
Wie viel VRAM braucht Qwen3 0.6B?
Etwa 3,7 GB bei FP16, 2,9 GB bei INT8 und 2,5 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.
Was ist die günstigste GPU für Qwen3 0.6B?
1 × RTX 3090 24GB (etwa 0,16 $ pro GPU / Stunde) bei Lium, für etwa 0,16 $ pro Stunde bei Inferenz in FP16 / BF16 mit 8K Kontext. Preise erfasst am 16. Nov. 2026; sie ändern sich oft.
Kann ich Qwen3 0.6B auf einer einzelnen GPU feintunen?
Ja, mit QLoRA: Es braucht etwa 2,5 GB, das passt auf eine 80-GB-GPU. LoRA braucht etwa 3,7 GB, volles Feintuning etwa 15 GB.
Wie werden diese Zahlen berechnet?
Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.
Läuft Qwen3 0.6B auf einer Consumer-GPU wie der RTX 4090?
Ja, bei FP16 / BF16 mit 8K Kontext: etwa 3,7 GB passen in die 24 GB der Karte.
Passt Qwen3 0.6B auf eine einzelne H100 80GB?
Ja, bei FP16 / BF16, INT8, INT4 mit 8K Kontext.
Wie viele GPUs brauche ich für Qwen3 0.6B?
Bei FP16 mit 8K Kontext: 1 × 80 GB, 1 × 48 GB oder 1 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.
Wie viel VRAM braucht Qwen3 0.6B bei INT8?
Etwa 2,9 GB: 0,79 GB für die Gewichte, 0,94 GB für einen KV-Cache mit 8K und 1,2 GB Laufzeit-Overhead.
Was kostet es, Qwen3 0.6B einen Monat lang rund um die Uhr zu betreiben?
Etwa 117 $ mit der günstigsten Konfiguration, die wir gefunden haben (1 × RTX 3090 24GB (etwa 0,16 $ pro GPU / Stunde), 0,16 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 384 $ im Monat.
FP16, INT8 oder INT4: was soll ich nehmen?
FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 3,7 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 2,5 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.
Läuft Qwen3 0.6B auf einem Mac?
Ja, mit genug Speicher. Bei INT4 braucht es etwa 2,5 GB, also einen Mac mit 16 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.
vLLM oder llama.cpp?
vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.
Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).
Beliebte Modelle
Eigene Seiten mit den Zahlen für jede Genauigkeit.
- all-MiniLM-L6-v2Embeddings22,7 Mio. · etwa 1 GB FP16 · 167,5 Mio. ↓GPU-Bedarf
- Qwen3 0.6BText751,6 Mio. · etwa 3,7 GB FP16 · 15,4 Mio. ↓GPU-Bedarf
- Qwen3 14BText14,8 Mrd. · etwa 35 GB FP16 · 13,2 Mio. ↓GPU-Bedarf
- DeepSeek V3.2Text685,4 Mrd. · etwa 1.509 GB FP16 · 10,4 Mio. ↓GPU-Bedarf
- Qwen3 Embedding 0.6BEmbeddings595,8 Mio. · etwa 2,3 GB FP16 · 7,6 Mio. ↓GPU-Bedarf
- multilingual e5 largeEmbeddings559,9 Mio. · etwa 2,2 GB FP16 · 7,3 Mio. ↓GPU-Bedarf
- bge large en v1.5Embeddings335,1 Mio. · etwa 1,7 GB FP16 · 6,8 Mio. ↓GPU-Bedarf
- Qwen3.8-27BVision27,8 Mrd. · etwa 63 GB FP16 · 6,5 Mio. ↓GPU-Bedarf
- GLM-5.3-FlashVision321,3 Mrd. · etwa 708 GB FP16 · 6,4 Mio. ↓GPU-Bedarf
- Qwen2.5 7B InstructText7,6 Mrd. · etwa 18 GB FP16 · 6,4 Mio. ↓GPU-Bedarf
- Qwen3.5 9BVision9,7 Mrd. · etwa 23 GB FP16 · 6,3 Mio. ↓GPU-Bedarf
- Qwen3 8BText8,2 Mrd. · etwa 20 GB FP16 · 6,1 Mio. ↓GPU-Bedarf
- Gemma 4Vision31,3 Mrd. · etwa 71 GB FP16 · 6,1 Mio. ↓GPU-Bedarf
- Qwen3 VL 8B InstructVision8,8 Mrd. · etwa 22 GB FP16 · 6 Mio. ↓GPU-Bedarf
- MiniMax H3 (Hailuo 3.0)Video33,1 Mrd. · etwa 74 GB FP16 · 5,8 Mio. ↓GPU-Bedarf
- Unlimited OCRVision3,3 Mrd. · etwa 8,9 GB FP16 · 5,6 Mio. ↓GPU-Bedarf
- gpt-oss-20bText20,9 Mrd. · etwa 47 GB FP16 · 5,6 Mio. ↓GPU-Bedarf
- Qwen3.5 2BVision2,3 Mrd. · etwa 6,1 GB FP16 · 5,5 Mio. ↓GPU-Bedarf
- Qwen2.5 VL 7B InstructVision8,3 Mrd. · etwa 20 GB FP16 · 5,3 Mio. ↓GPU-Bedarf
- gemma 4 26B A4B itVision25,8 Mrd. · etwa 58 GB FP16 · 4,9 Mio. ↓GPU-Bedarf
- Qwen2.5 1.5B InstructText1,5 Mrd. · etwa 4,7 GB FP16 · 4,9 Mio. ↓GPU-Bedarf
- dolphin 2.9.1 yi 1.5 34bText34,4 Mrd. · etwa 79 GB FP16 · 4,8 Mio. ↓GPU-Bedarf
- Whisper large-v3-turboSprache808,9 Mio. · etwa 2,8 GB FP16 · 4,7 Mio. ↓GPU-Bedarf
- snowflake arctic embed l v2.0Embeddings567,8 Mio. · etwa 2,2 GB FP16 · 4,7 Mio. ↓GPU-Bedarf
- Qwen3.5 4BVision4,7 Mrd. · etwa 12 GB FP16 · 4,4 Mio. ↓GPU-Bedarf
- OmniVoiceSprache612,6 Mio. · etwa 2,3 GB FP16 · 4,3 Mio. ↓GPU-Bedarf
- Llama 3.1 8B InstructText8 Mrd. · etwa 20 GB FP16 · 4,1 Mio. ↓GPU-Bedarf
- Qwen2.5 0.5B InstructText494 Mio. · etwa 2,2 GB FP16 · 4 Mio. ↓GPU-Bedarf
- Qwen3 32BText32,8 Mrd. · etwa 75 GB FP16 · 4 Mio. ↓GPU-Bedarf
- Qwen3.6 35B A3BVision36 Mrd. · etwa 80 GB FP16 · 3,8 Mio. ↓GPU-Bedarf
- Qwen3 4BText4 Mrd. · etwa 11 GB FP16 · 3,1 Mio. ↓GPU-Bedarf
- Qwen3 VL 4B InstructVision4,4 Mrd. · etwa 12 GB FP16 · 2,9 Mio. ↓GPU-Bedarf
- Qwen3 4B Instruct 2507Text4 Mrd. · etwa 11 GB FP16 · 2,7 Mio. ↓GPU-Bedarf
- Qwen3.8-Flash-NextVision180 Mrd. · etwa 397 GB FP16 · 2,7 Mio. ↓GPU-Bedarf
- Qwen3 1.7BText2 Mrd. · etwa 6,5 GB FP16 · 2,7 Mio. ↓GPU-Bedarf
- Qwen3.5 0.8BVision873,4 Mio. · etwa 3 GB FP16 · 2,6 Mio. ↓GPU-Bedarf
- Qwen3.6Vision27,8 Mrd. · etwa 63 GB FP16 · 2,4 Mio. ↓GPU-Bedarf
- moondream2Vision1,9 Mrd. · etwa 6 GB FP16 · 2,4 Mio. ↓GPU-Bedarf
- gpt-oss-120bText116,8 Mrd. · etwa 258 GB FP16 · 2,4 Mio. ↓GPU-Bedarf
- Qwen3 Embedding 4BEmbeddings4 Mrd. · etwa 9,8 GB FP16 · 2,2 Mio. ↓GPU-Bedarf
- mxbai embed large v1Embeddings335,1 Mio. · etwa 1,7 GB FP16 · 2,1 Mio. ↓GPU-Bedarf
- Qwen3-Embedding and Qwen3-RerankerEmbeddings7,6 Mrd. · etwa 18 GB FP16 · 2,1 Mio. ↓GPU-Bedarf
- bge reranker largeEmbeddings559,9 Mio. · etwa 2,2 GB FP16 · 2 Mio. ↓GPU-Bedarf
- Qwen3 Coder 30B A3B InstructText30,5 Mrd. · etwa 69 GB FP16 · 2 Mio. ↓GPU-Bedarf
- GLM-OCRVision1,3 Mrd. · etwa 3,9 GB FP16 · 1,9 Mio. ↓GPU-Bedarf
- SAM 3 (Segment Anything Model 3)Vision859,9 Mio. · etwa 2,9 GB FP16 · 1,9 Mio. ↓GPU-Bedarf
- Qwen2.5 VL 3B InstructVision3,8 Mrd. · etwa 9,6 GB FP16 · 1,9 Mio. ↓GPU-Bedarf
- Qwen2.5 3B InstructText3,1 Mrd. · etwa 8,1 GB FP16 · 1,9 Mio. ↓GPU-Bedarf
- multilingual e5 large instructEmbeddings559,9 Mio. · etwa 2,2 GB FP16 · 1,8 Mio. ↓GPU-Bedarf
- DeepSeek OCRVision3,3 Mrd. · etwa 8,9 GB FP16 · 1,8 Mio. ↓GPU-Bedarf
- Ternary Bonsai 2 9BVision1,5 Mrd. · etwa 5 GB FP16 · 1,7 Mio. ↓GPU-Bedarf
- SmolVLM2 500M Video InstructVision507,5 Mio. · etwa 2,5 GB FP16 · 1,7 Mio. ↓GPU-Bedarf
- OTel 2.0 LLM 31B IT QLoRAText31,3 Mrd. · etwa 72 GB FP16 · 1,7 Mio. ↓GPU-Bedarf
- Qwen3.5 27BVision27,8 Mrd. · etwa 63 GB FP16 · 1,6 Mio. ↓GPU-Bedarf
- DeepSeek R1Text684,5 Mrd. · etwa 1.508 GB FP16 · 1,6 Mio. ↓GPU-Bedarf
- DeepSeek V4 Flash 0731Text304,2 Mrd. · etwa 671 GB FP16 · 1,6 Mio. ↓GPU-Bedarf
- Qwen3-ASR (1.7B and 0.6B)Sprache2,3 Mrd. · etwa 6,2 GB FP16 · 1,6 Mio. ↓GPU-Bedarf
- Qwen2.5 Coder 14B InstructText14,8 Mrd. · etwa 35 GB FP16 · 1,6 Mio. ↓GPU-Bedarf
- GLM-5.3Text753,3 Mrd. · etwa 1.659 GB FP16 · 1,5 Mio. ↓GPU-Bedarf
- Qwen2.5 Coder 7B InstructText7,6 Mrd. · etwa 18 GB FP16 · 1,5 Mio. ↓GPU-Bedarf
- Qwen3.6 35B A3B Uncensored HauhauCS AggressiveVision34,7 Mrd. · etwa 79 GB FP16 · 1,5 Mio. ↓GPU-Bedarf
- gte large en v1.5Embeddings434,1 Mio. · etwa 2 GB FP16 · 1,4 Mio. ↓GPU-Bedarf
- DeepSeek-V4.1-FlashVision763,2 Mrd. · etwa 1.681 GB FP16 · 1,4 Mio. ↓GPU-Bedarf
- DeepSeek V3Text684,5 Mrd. · etwa 1.508 GB FP16 · 1,4 Mio. ↓GPU-Bedarf
- Qwen3.5 35B A3BVision36 Mrd. · etwa 80 GB FP16 · 1,3 Mio. ↓GPU-Bedarf
- jina embeddings v3Embeddings572,3 Mio. · etwa 2,3 GB FP16 · 1,3 Mio. ↓GPU-Bedarf
- Llama 3.2 1B InstructText1,2 Mrd. · etwa 4 GB FP16 · 1,3 Mio. ↓GPU-Bedarf
- Chandra OCR 2Vision5,3 Mrd. · etwa 13 GB FP16 · 1,3 Mio. ↓GPU-Bedarf
- InklingVision952,4 Mrd. · etwa 2.099 GB FP16 · 1,3 Mio. ↓GPU-Bedarf
- NVIDIA Nemotron 3 Nano 30B A3B BF16Text31,6 Mrd. · etwa 71 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- Qwen2.5 0.5BText494 Mio. · etwa 2,2 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- Qwen3 VL 2B InstructVision2,1 Mrd. · etwa 6,7 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- GLM 4.7 FlashText31,2 Mrd. · etwa 70 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- InternVL2 1BVision938,2 Mio. · etwa 3,2 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- DeepSeek V4 FlashText290,9 Mrd. · etwa 642 GB FP16 · 1,2 Mio. ↓GPU-Bedarf
- w2v bert 2.0Embeddings580,5 Mio. · etwa 2,3 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- Qwen3 30B A3BText30,5 Mrd. · etwa 69 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- Qwen3-TTSSprache1,9 Mrd. · etwa 5,2 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- gpt2 largeText811,8 Mio. · etwa 3 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- GLM 4.5 AirText110,5 Mrd. · etwa 246 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- GLM 5Text753,9 Mrd. · etwa 1.660 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- LaBSEEmbeddings470,9 Mio. · etwa 2 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- Mistral 7B Instruct v0.2Text7,2 Mrd. · etwa 18 GB FP16 · 1,1 Mio. ↓GPU-Bedarf
- gemma 3 4b itVision4,3 Mrd. · etwa 12 GB FP16 · 1 Mio. ↓GPU-Bedarf
- Llama 3.2 1B InstructText1,2 Mrd. · etwa 4 GB FP16 · 1 Mio. ↓GPU-Bedarf
- Nemotron 3 UltraText560,5 Mrd. · etwa 1.235 GB FP16 · 1 Mio. ↓GPU-Bedarf
- embeddinggemma 300mEmbeddings302,9 Mio. · etwa 1,7 GB FP16 · 972.203 ↓GPU-Bedarf
- VoxCPM2Sprache2,3 Mrd. · etwa 6 GB FP16 · 971.696 ↓GPU-Bedarf
- MiniCPM5-2BText2,5 Mrd. · etwa 6,9 GB FP16 · 934.250 ↓GPU-Bedarf
- Qwen2 VL 2B InstructVision2,2 Mrd. · etwa 6,1 GB FP16 · 925.323 ↓GPU-Bedarf
- Inkling SmallVision266 Mrd. · etwa 588 GB FP16 · 916.092 ↓GPU-Bedarf
- MiniMax M2.5Text228,7 Mrd. · etwa 506 GB FP16 · 907.618 ↓GPU-Bedarf
- NVIDIA Nemotron 3.5 Lightning 30B A3B BF16Text31,6 Mrd. · etwa 71 GB FP16 · 907.028 ↓GPU-Bedarf
- Nanonets OCR2 3BVision3,8 Mrd. · etwa 9,6 GB FP16 · 898.672 ↓GPU-Bedarf
- AutoTrust Decider Pro Vision 27BVision27,8 Mrd. · etwa 63 GB FP16 · 893.889 ↓GPU-Bedarf
- OTel 2.0 LLM 31B ITText31,3 Mrd. · etwa 71 GB FP16 · 893.796 ↓GPU-Bedarf
- Hy3Text298,8 Mrd. · etwa 661 GB FP16 · 885.643 ↓GPU-Bedarf
- Qwen3.5 0.8B BaseVision873,4 Mio. · etwa 3 GB FP16 · 881.916 ↓GPU-Bedarf
- Qwen3.8 27B Coder390 EfficientThink Opus5.5 GPT6Astra Grok4.7 DSV4Pro K3 SFT RLOO MTP DFlash2Vision27,3 Mrd. · etwa 63 GB FP16 · 876.879 ↓GPU-Bedarf
- MiniCPM-V 4.7 (35B-A3B and 1B)Vision35,2 Mrd. · etwa 79 GB FP16 · 876.263 ↓GPU-Bedarf
So rechnen wir
- Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
- KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
- Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
- Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
- GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.