Inkling GPU-Anforderungen: VRAM und günstigste GPU
Inkling hat 952,4 Mrd. Parameter, veröffentlicht in BF16. Es ist ein Mixture-of-Experts-Modell: 6 seiner 256 Experten arbeiten an jedem Token, etwa 18,1 Mrd. Parameter, daher erzeugt es Text ungefähr im Tempo eines Modells dieser Größe. Alle Experten müssen trotzdem im GPU-Speicher liegen, deshalb gelten die Speicherwerte unten für das ganze Modell. Es steht unter apache-2.0, die kommerzielle Nutzung erlaubt.
- Parameter
- 952,4 Mrd.
- Kleinster Bedarf (INT4)
- etwa 553 GB
- Günstigste GPU pro Stunde (FP16)
- –
- Typ
- Vision
thinkingmachines/Inkling
Auf Hugging Face ansehen (öffnet in neuem Tab)Unseren Test lesen
- Parameter 952,4 Mrd.
- Aktiv pro Token 18,1 Mrd.
- Typ Vision
- Aufgabe image-text-to-text
- Lizenz apache-2.0
- Downloads 1,3 Mio.
- Likes 1855
Berechnung für Inkling
Weitere Einstellungen
Inkling braucht etwa 2.099 GB GPU-Speicher
Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig.
Wofür der Speicher draufgeht
- Gewichte 1.905 GB
- KV-Cache 2,2 GB
- Laufzeit-Overhead 192 GB
- Gesamt 2.099 GB
Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.
Kein erfasstes Angebot passt mit dieser Einstellung auf einen Knoten. Versuche eine geringere Genauigkeit oder einen kürzeren Kontext.
Kein erfasstes Angebot passt mit dieser Einstellung auf einen Knoten. Versuche eine geringere Genauigkeit oder einen kürzeren Kontext.
Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).
Speicher nach Genauigkeit und Einsatz
| Genauigkeit | Inferenz | LoRA-Feintuning | QLoRA-Feintuning | Volles Feintuning |
|---|---|---|---|---|
| FP16 / BF16 | 2.099 GB | 2.441 GB | – | 16.772 GB |
| INT8 | 1.103 GB | – | – | – |
| INT4 | 553 GB | – | 895 GB | – |
Günstigste GPU nach Genauigkeit
Inferenz mit 8K Kontext und einer Anfrage gleichzeitig.
FP16 / BF16
etwa 2.099 GB · 8K Tokens
Die Gewichte wie veröffentlicht. Kein Verlust, aber der größte Bedarf.
Kein Angebot mit einem Knoten passt
INT8
etwa 1.103 GB · 8K Tokens
Gewichte in halber Größe. Bei Chat und RAG meist kein sichtbarer Unterschied.
7 × MI300X 192GB
RunPod (öffnet in neuem Tab) · 8x MI300X
nur mit 8 GPUs erhältlich; du brauchst 7- Pro GPU / Std.
- 2,39 $
- Benötigte GPUs
- 7
- Gesamt / Std.
- etwa 19,12 $
- pro Monat, 24/7, ca.
- 13.958 $
INT4
etwa 553 GB · 8K Tokens
Gewichte auf ein Viertel verkleinert. Kleine Verluste zeigen sich zuerst bei Mathematik und Code.
4 × MI300X 192GB
RunPod (öffnet in neuem Tab) · 4x MI300X
- Pro GPU / Std.
- 2,39 $
- Benötigte GPUs
- 4
- Gesamt / Std.
- etwa 9,56 $
- pro Monat, 24/7, ca.
- 6.979 $
Inferenz oder Feintuning
Inferenz (FP16)
1×
des Speichers für Inferenz
2.099 GB
mehr als einen Knoten mit 8 GPUs
LoRA-Feintuning
1,2×
des Speichers für Inferenz
2.441 GB
mehr als einen Knoten mit 8 GPUs
QLoRA-Feintuning
0,4×
des Speichers für Inferenz
895 GB
6 × MI300X 192GB · etwa 19,12 $
Volles Feintuning
8×
des Speichers für Inferenz
16.772 GB
mehr als einen Knoten mit 8 GPUs
Für den Betrieb in FP16 reicht mehr als einen Knoten mit 8 GPUs. LoRA braucht mehr als einen Knoten mit 8 GPUs, QLoRA 6 × MI300X 192GB (RunPod) und volles Feintuning mehr als einen Knoten mit 8 GPUs. Training hält neben den Gewichten auch Aktivierungen und Optimiererzustände im Speicher und braucht deshalb oft mehr GPUs als der Betrieb desselben Modells.
Läuft es auf einem Mac oder einer einzelnen RTX 4090?
RTX 4090 (24 GB)
Allein nicht. Selbst bei INT4 braucht es etwa 553 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.
Mac mit Apple Silicon
Realistisch nicht. Selbst bei INT4 braucht es etwa 553 GB, mehr als der größte Mac seiner GPU geben kann.
Ähnliche Modelle
Offene Modelle ähnlicher Größe.
- Muse Spark OpenVision822 Mrd. · etwa 1.810 GB FP16 · 14.366 ↓GPU-Bedarf
- DeepSeek-V4.1-FlashVision763,2 Mrd. · etwa 1.681 GB FP16 · 1,4 Mio. ↓GPU-Bedarf
- DeepSeek V4.1 Flash 1017Vision763,2 Mrd. · etwa 1.681 GB FP16 · 505.387 ↓GPU-Bedarf
- LongCat-2.5Vision1,8 Bio. · etwa 3.917 GB FP16 · 2830 ↓GPU-Bedarf
- MiniMax-M3Vision427 Mrd. · etwa 942 GB FP16 · 104.605 ↓GPU-Bedarf
- Qwen3.5-397B-A17BVision403,4 Mrd. · etwa 889 GB FP16 · 645.422 ↓GPU-Bedarf
Inkling: häufige Fragen
Wie viel VRAM braucht Inkling?
Etwa 2.099 GB bei FP16, 1.103 GB bei INT8 und 553 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.
Was ist die günstigste GPU für Inkling?
7 × MI300X 192GB (etwa 2,39 $ pro GPU / Stunde; nur mit 8 GPUs erhältlich; du brauchst 7) bei RunPod, für etwa 19,12 $ pro Stunde bei Inferenz in INT8 mit 8K Kontext. Preise erfasst am 16. Nov. 2026; sie ändern sich oft.
Kann ich Inkling auf einer einzelnen GPU feintunen?
Nicht auf einer GPU. Selbst QLoRA braucht etwa 895 GB, mehr als eine 80-GB-GPU fasst. LoRA braucht etwa 2.441 GB, volles Feintuning etwa 16.772 GB.
Wie werden diese Zahlen berechnet?
Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.
Läuft Inkling auf einer Consumer-GPU wie der RTX 4090?
Allein nicht. Selbst bei INT4 braucht es etwa 553 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.
Passt Inkling auf eine einzelne H100 80GB?
Nein. Selbst bei INT4 braucht es etwa 553 GB, du brauchst also mehrere GPUs.
Wie viele GPUs brauche ich für Inkling?
Bei FP16 mit 8K Kontext: 30 × 80 GB, 49 × 48 GB oder 98 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.
Wie viel VRAM braucht Inkling bei INT8?
Etwa 1.103 GB: 1.000 GB für die Gewichte, 2,2 GB für einen KV-Cache mit 8K und 101 GB Laufzeit-Overhead.
Was kostet es, Inkling einen Monat lang rund um die Uhr zu betreiben?
Etwa 13.958 $ mit der günstigsten Konfiguration, die wir gefunden haben (7 × MI300X 192GB (etwa 2,39 $ pro GPU / Stunde; nur mit 8 GPUs erhältlich; du brauchst 7), 19,12 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 83.171 $ im Monat.
FP16, INT8 oder INT4: was soll ich nehmen?
FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 2.099 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 553 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.
Läuft Inkling auf einem Mac?
Realistisch nicht. Selbst bei INT4 braucht es etwa 553 GB, mehr als der größte Mac seiner GPU geben kann.
vLLM oder llama.cpp?
vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.
Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).
So rechnen wir
- Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
- KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
- Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
- Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
- GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.