Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Nemotron 3 Ultra GPU-Anforderungen: VRAM und günstigste GPU

Nemotron 3 Ultra hat 560,5 Mrd. Parameter, veröffentlicht in BF16. Es ist ein Mixture-of-Experts-Modell: 22 seiner 512 Experten arbeiten an jedem Token, etwa 55 Mrd. Parameter, daher erzeugt es Text ungefähr im Tempo eines Modells dieser Größe. Alle Experten müssen trotzdem im GPU-Speicher liegen, deshalb gelten die Speicherwerte unten für das ganze Modell. Seine Lizenz (openmdw-1.1) bringt eigene Bedingungen mit; lies sie, bevor du das Modell kommerziell nutzt.

Parameter
560,5 Mrd.
Kleinster Bedarf (INT4)
etwa 325 GB
Günstigste GPU pro Stunde (FP16)
2,39 $
Typ
Text

nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

Auf Hugging Face ansehen (öffnet in neuem Tab)Unseren Test lesen

  • Parameter 560,5 Mrd.
  • Aktiv pro Token 55 Mrd.
  • Typ Text
  • Aufgabe text-generation
  • Max. Kontext 256K
  • Lizenz openmdw-1.1
  • Downloads 1 Mio.
  • Likes 388

Berechnung für Nemotron 3 Ultra

Genauigkeit
Einsatz
Weitere Einstellungen
Inferenz-Engine
Gleichzeitige Anfragen

Nemotron 3 Ultra braucht etwa 1.235 GB GPU-Speicher

Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig. Einige Modellangaben fehlten, daher ist der KV-Cache geschätzt.

Wofür der Speicher draufgeht

  • Gewichte 1.121 GB
  • KV-Cache 0,54 GB
  • Laufzeit-Overhead 113 GB
  • Gesamt 1.235 GB

Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.

Passende GPUs, die günstigste zuerstJeder erfasste GPU-Typ, der diese Einstellung auf einem Knoten schafft, sortiert nach Gesamtkosten pro Stunde
RangKonfigurationPro GPU / Std.Benötigte GPUsGesamt / Std.Gesamt / Monat (24/7)Anbieter
18 × MI300X 192GBAm günstigstenCDNA 3 · HBM32,39 $819,12 $13.958 $RunPod (öffnet in neuem Tab)8x MI300X
28 × B200 180GBBlackwell · HBM3e7,69 $861,52 $44.910 $Lambda (öffnet in neuem Tab)8x HGX B200
35 × B300 288GBBlackwell Ultra · HBM3e8,99 $5nur mit 8 GPUs erhältlich; du brauchst 571,92 $52.502 $RunPod (öffnet in neuem Tab)8x B300
Mehr als 8: mehrere Knoten nötig: H200 141GB, GH200 96GB, H100 NVL 94GB, RTX PRO 6000 96GB, H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB
Kosten pro CloudGünstigstes passendes Angebot je Anbieter. Näherungswerte, Preise erfasst am 16. Nov. 2026.
AnbieterInstanzPro GPU / Std.Benötigte GPUsGesamt / Std.Gesamt / Monat (24/7)
RunPod (öffnet in neuem Tab)Am günstigsten8x MI300Xus2,39 $8 × MI300X 192GB etwa 19,12 $etwa 13.958 $
Vultr (öffnet in neuem Tab)vbm-256c-2048gb-8-mi300x-gpu (bare metal)us3,99 $8 × MI300X 192GB etwa 31,92 $etwa 23.302 $
Lambda (öffnet in neuem Tab)8x HGX B200us7,69 $8 × B200 180GB etwa 61,52 $etwa 44.910 $
Nebius (öffnet in neuem Tab)8x B200 180GBeu/us8,50 $8 × B200 180GB etwa 68,00 $etwa 49.640 $
CoreWeave (öffnet in neuem Tab)HGX B200us8,60 $8 × B200 180GB etwa 68,80 $etwa 50.224 $
AWS (öffnet in neuem Tab)p6-b200.48xlargeus-east-114,24 $8 × B200 180GB etwa 113,93 $etwa 83.171 $

Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).

Speicher nach Genauigkeit und Einsatz

Mit 8K Tokens Kontext und einer Anfrage gleichzeitig. LoRA und volles Feintuning gehen von 16-Bit-Gewichten aus, QLoRA von 4 Bit, daher bleiben die übrigen Felder leer.
GenauigkeitInferenzLoRA-FeintuningQLoRA-FeintuningVolles Feintuning
FP16 / BF161.235 GB1.443 GB–9.878 GB
INT8649 GB–––
INT4325 GB–534 GB–

Günstigste GPU nach Genauigkeit

Inferenz mit 8K Kontext und einer Anfrage gleichzeitig.

FP16 / BF16

etwa 1.235 GB · 8K Tokens

Die Gewichte wie veröffentlicht. Kein Verlust, aber der größte Bedarf.

8 × MI300X 192GB

RunPod (öffnet in neuem Tab) · 8x MI300X

Pro GPU / Std.
2,39 $
Benötigte GPUs
8
Gesamt / Std.
etwa 19,12 $
pro Monat, 24/7, ca.
13.958 $

INT8

etwa 649 GB · 8K Tokens

Gewichte in halber Größe. Bei Chat und RAG meist kein sichtbarer Unterschied.

4 × MI300X 192GB

RunPod (öffnet in neuem Tab) · 4x MI300X

Pro GPU / Std.
2,39 $
Benötigte GPUs
4
Gesamt / Std.
etwa 9,56 $
pro Monat, 24/7, ca.
6.979 $

INT4

etwa 325 GB · 8K Tokens

Gewichte auf ein Viertel verkleinert. Kleine Verluste zeigen sich zuerst bei Mathematik und Code.

8 × A40 48GB

RunPod (öffnet in neuem Tab) · 8x A40

Pro GPU / Std.
0,59 $
Benötigte GPUs
8
Gesamt / Std.
etwa 4,72 $
pro Monat, 24/7, ca.
3.446 $

Inferenz oder Feintuning

  • Inferenz (FP16)

    1×

    des Speichers für Inferenz

    1.235 GB

    8 × MI300X 192GB · etwa 19,12 $

  • LoRA-Feintuning

    1,2×

    des Speichers für Inferenz

    1.443 GB

    6 × B300 288GB · etwa 71,92 $

  • QLoRA-Feintuning

    0,4×

    des Speichers für Inferenz

    534 GB

    4 × MI300X 192GB · etwa 9,56 $

  • Volles Feintuning

    8×

    des Speichers für Inferenz

    9.878 GB

    mehr als einen Knoten mit 8 GPUs

Für den Betrieb in FP16 reicht 8 × MI300X 192GB (RunPod). LoRA braucht 6 × B300 288GB (RunPod), QLoRA 4 × MI300X 192GB (RunPod) und volles Feintuning mehr als einen Knoten mit 8 GPUs. Training hält neben den Gewichten auch Aktivierungen und Optimiererzustände im Speicher und braucht deshalb oft mehr GPUs als der Betrieb desselben Modells.

Läuft es auf einem Mac oder einer einzelnen RTX 4090?

RTX 4090 (24 GB)

Allein nicht. Selbst bei INT4 braucht es etwa 325 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.

Mac mit Apple Silicon

Ja, mit genug Speicher. Bei INT4 braucht es etwa 325 GB, also einen Mac mit 512 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.

Selbst betreiben oder pro Token zahlen?

Selbst betreiben

Die günstigste Konfiguration in FP16, die wir gefunden haben, ist 8 × MI300X 192GB bei RunPod, etwa 13.958 $ im Monat im Dauerbetrieb. Lohnt sich bei gleichmäßigem Verkehr oder wenn die Daten auf eigenen Rechnern bleiben müssen.

Eine gehostete API nutzen

Unser Test von Nemotron 3 Ultra zeigt, wo du es per API nutzen kannst und was das kostet. Bei wenig oder schwankendem Verkehr ist Zahlen pro Token meist günstiger.

Unseren Test lesen

Ähnliche Modelle

Offene Modelle ähnlicher Größe.

Anderes Modell berechnen

Nemotron 3 Ultra: häufige Fragen

Wie viel VRAM braucht Nemotron 3 Ultra?

Etwa 1.235 GB bei FP16, 649 GB bei INT8 und 325 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.

Was ist die günstigste GPU für Nemotron 3 Ultra?

8 × MI300X 192GB (etwa 2,39 $ pro GPU / Stunde) bei RunPod, für etwa 19,12 $ pro Stunde bei Inferenz in FP16 / BF16 mit 8K Kontext. Preise erfasst am 16. Nov. 2026; sie ändern sich oft.

Kann ich Nemotron 3 Ultra auf einer einzelnen GPU feintunen?

Nicht auf einer GPU. Selbst QLoRA braucht etwa 534 GB, mehr als eine 80-GB-GPU fasst. LoRA braucht etwa 1.443 GB, volles Feintuning etwa 9.878 GB.

Wie werden diese Zahlen berechnet?

Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.

Läuft Nemotron 3 Ultra auf einer Consumer-GPU wie der RTX 4090?

Allein nicht. Selbst bei INT4 braucht es etwa 325 GB, mehr als die 24 GB der Karte. Zwei oder mehr Karten oder eine größere Rechenzentrums-GPU reichen.

Passt Nemotron 3 Ultra auf eine einzelne H100 80GB?

Nein. Selbst bei INT4 braucht es etwa 325 GB, du brauchst also mehrere GPUs.

Wie viele GPUs brauche ich für Nemotron 3 Ultra?

Bei FP16 mit 8K Kontext: 18 × 80 GB, 29 × 48 GB oder 58 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.

Wie viel VRAM braucht Nemotron 3 Ultra bei INT8?

Etwa 649 GB: 589 GB für die Gewichte, 0,54 GB für einen KV-Cache mit 8K und 60 GB Laufzeit-Overhead.

Was kostet es, Nemotron 3 Ultra einen Monat lang rund um die Uhr zu betreiben?

Etwa 13.958 $ mit der günstigsten Konfiguration, die wir gefunden haben (8 × MI300X 192GB (etwa 2,39 $ pro GPU / Stunde), 19,12 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 83.171 $ im Monat.

FP16, INT8 oder INT4: was soll ich nehmen?

FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 1.235 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 325 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.

Läuft Nemotron 3 Ultra auf einem Mac?

Ja, mit genug Speicher. Bei INT4 braucht es etwa 325 GB, also einen Mac mit 512 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.

vLLM oder llama.cpp?

vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.

Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).

So rechnen wir

  • Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
  • KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
  • Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
  • Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
  • GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.