Was kostet Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?

Kostenlose offene Gewichte unter OpenMDW-1.1. Für keines der beiden Modelle ist ein nutzungsabhängiger API-Preis veröffentlicht; für E4B gibt es einen Endpunkt auf build.nvidia.com.

Welche Nachteile hat Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?

Das 74B braucht trotz des Namens eine 32-GB-GPU; In NVIDIAs eigenen Tests langsamer als Qwen3.6-35B-A3B und Gemma 4; 82K Ausgabe-Tokens pro Index-Aufgabe von AA; E4B liegt auf Tau2-Bench und bei langem Kontext hinter Qwen3.5 4B.

Was kostet Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) für ein Team oder im Produktivbetrieb?

Die Gewichte sind kostenlos, und Artificial Analysis nennt für das 74B keinen nutzungsabhängigen Preis. Hardware: eine 32-GB-GPU für 65K Kontext oder 48 GB für 262K beim 74B; E4B erreicht in NVIDIAs Tests Spitzenwerte von 3,1 bis 5,0 GB, von einer RTX 5070 bis zu Jetson Orin.

Ist Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) sicher für Firmendaten?

Selbst gehostet, die Daten bleiben also lokal. OpenMDW-1.1 erlaubt kommerzielle Nutzung ohne Umsatzgrenze; die Rechte erlöschen, wenn du wegen Patenten oder Urheberrechten am Modell klagst. NVIDIA veröffentlicht seine Datensätze für Pre- und Post-Training, führt aber viele Quellen als privat.

Was sind die besten Alternativen zu Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?

Die nächsten Alternativen, die wir getestet haben, sind Nemotron 3.5 Super VL, Gemma 4, Underdog Saluki 27B 1.0 und Qwen3.8-27B.

Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) (2026)

Was ist Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?

Nemotron 3.5 Bolt ist NVIDIAs Familie offener Modelle, mit denen Agenten auf lokaler Hardware laufen sollen. Das größere Mitglied, Bolt 74B-A9B 24GB, erschien am 15. Oktober 2026 zusammen mit Nemotron 3.5 Super VL auf Hugging Face. Es ist ein komprimiertes Super VL: Eine Architektursuche schrumpfte das 120B-Ausgangsmodell auf 74 Milliarden Parameter mit 9 Milliarden aktiven pro Token, geroutet auf 9 statt 22 Experten. Danach folgten ein erneutes Training mit 120 Milliarden Tokens und Reinforcement Learning für Tool-Nutzung. Die Experten sind mit 2,0625 Bit pro Gewicht gespeichert, die GGUF-Datei ist daher 22,02 GB groß, dazu kommt eine Vision-Datei mit 1,73 GB. Das Modell liest Text, Bilder und mp4-Videos bis zu zwei Minuten und hat einen Kontext von 256K Tokens.

Das kleinere Mitglied, Bolt E4B 4GB, folgte am 23. Oktober. Es stammt gar nicht von Super VL ab: NVIDIA hat Googles Gemma-4-E4B-it per Reinforcement Learning für mehrstufige Tool-Nutzung, Befolgen von Anweisungen und kurze gesprochene Antworten nachtrainiert. Es hat 8 Milliarden Parameter (4 Milliarden effektiv), verarbeitet nur Text und hat 64K Tokens für Ein- und Ausgabe. Die Q4_K_M-Datei belegt 6,18 GB auf der Platte; die 4GB im Namen beziehen sich auf den Spitzenspeicher in NVIDIAs Ziel-Workloads, den NVIDIA mit 3,1 bis 5,0 GB gemessen hat.

Beide stehen unter NVIDIAs Lizenz OpenMDW-1.1, die kommerzielle Nutzung erlaubt; für E4B gelten zusätzlich die Apache-2.0-Bedingungen von Gemma 4.

Lohnt sich Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?

Bolt 74B-A9B trägt die Familie, und es hat den unabhängigen Messwert, der den meisten lokalen Modellen fehlt. Artificial Analysis gibt ihm 21,4 Punkte auf seinem Intelligence Index, Platz vier unter den Modellen unter 100B Parametern und 1,5 Punkte hinter Nemotron 3 Ultra, einem 550B-Modell. NVIDIAs eigene Tabelle schmeichelt mehr: 50,98 auf Terminal-Bench 2.1 gegenüber 44,38 für Qwen3.6-35B-A3B und 66,75 auf BrowseComp gegenüber 48,74. Selbst dort liegt es nicht überall vorn: Gemma 4 26B-A4B schlägt es bei der Genauigkeit auf AA-Omniscience (22,17 zu 16,90), und Qwen liegt auf PinchBench knapp vorn.

Der Name verspricht bei der Hardware zu viel. Die 22-GB-Datei und der 1,73 GB große Vision-Encoder lassen auf einer 24-GB-Karte keinen Platz für den Cache, und NVIDIAs eigene Deployment-Tabelle verlangt eine dedizierte GPU mit 32 GB für einen Kontext von 65.536 Tokens oder 48 GB für die vollen 262.144 Tokens. Unterstützt werden nur GPUs der Generationen Ada Lovelace und Blackwell, und jede Geschwindigkeitsangabe stammt von einem RTX-Spark-Laptop mit 128 GB Speicher.

Es ist außerdem langsamer und redseliger als die Konkurrenz. NVIDIAs Blog meldet mit dem spekulativen Drafter 84 Tokens pro Sekunde, gegenüber 96,63 für Qwen3.6-35B-A3B und 100,56 für Gemma 4, und 600,80 Sekunden für eine Agentenaufgabe, die die anderen in etwa 454 und 481 Sekunden erledigen. Artificial Analysis zählte 82.000 Ausgabe-Tokens pro Index-Aufgabe, das 1,8-Fache von Super VL. Sein Vorteil ist Genauigkeit bei einer bestimmten Speichergröße, nicht Tempo.

E4B ist eine andere Wette: ein Gemma-4-Finetune für Sprach- und Geräteassistenten. NVIDIA meldet 84,79 auf IHEval, einem Test zur Hierarchie von Anweisungen, gegenüber 67,04 für das Gemma-Original. Qwen3.5 4B schlägt es aber auf Tau2-Bench (75,06 zu 55,10) und beim Abruf über 64K Tokens. Auf einer RTX 5070 maß NVIDIA 548 ms bis zum ersten Token und 133,4 Tokens pro Sekunde; auf einem Jetson Orin Nano beträgt die Wartezeit 5,8 Sekunden, zu langsam für Live-Sprache. Jeder E4B-Wert stammt von NVIDIA selbst, gemessen in seinem NeMo-Gym-Harness.

Wo es sich lohnt

Ein Entwickler mit einer NVIDIA-Workstation-GPU mit 32 GB
Einen Browser- und Terminal-Agenten lokal betreiben, mit Screenshots im Kontext
Nutze NVIDIAs 28-GB-Rezept: llama.cpp aus dem Quellcode gebaut, ein Kontext von 65.536 Tokens, q8_0-KV-Cache und der 1 GB große DFlash-Drafter. NVIDIA meldet 66,75 auf BrowseComp und 50,98 auf Terminal-Bench 2.1, rechne aber mit längeren Durchläufen als bei Qwen3.6-35B-A3B.
Ein Robotik-Team, das einen sprechenden Assistenten auf Jetson baut
Einem Gerät gesprochene, Tool-nutzende Antworten geben, ohne Umweg über die Cloud
Betreibe den Q4_K_M-Build von E4B mit aktiviertem Konversationsmodus und einem Thinking-Budget. NVIDIA maß auf einem Jetson Orin Nano 4,2 bis 5,0 GB Speicher und 13 bis 15,5 Tokens pro Sekunde bei 5,8 Sekunden bis zum ersten Token; für Live-Sprache eignen sich ein Jetson AGX Orin oder eine RTX-Karte daher besser.
Eine Produktverantwortliche bei einem PC-Softwarehaus
Einen On-Device-Assistenten unter einer Lizenz ausliefern, die die Rechtsabteilung freigibt
OpenMDW-1.1 gewährt Rechte ohne Einschränkung, ohne Umsatzgrenze und ohne Nutzungsrichtlinie; nur bei Weitergabe müssen Lizenz und Hinweise beiliegen. E4B bringt zusätzlich die Apache-2.0-Bedingungen von Gemma 4 mit. Der Haken ist die Hardware: Beide zielen ausschließlich auf NVIDIA-GPUs.

Bevor du dich festlegst

Einrichtung: Baue das aktuelle llama.cpp mit CUDA aus dem Quellcode, lade die 22,02 GB große GGUF-Datei, die 1,73 GB große Vision-Datei und den 1 GB großen Drafter herunter und starte llama-server mit NVIDIAs 28-GB- oder 32-GB-Rezept. E4B läuft aus einem vorgefertigten llama.cpp-CUDA-Container mit einer 6,18 GB großen Datei.
Integrationen: OpenAI-kompatible Chat Completions mit Tool Calls, JSON-Ausgabe und einem enable_thinking-Schalter. E4B ergänzt einen Konversationsmodus, ein zur Laufzeit einstellbares Thinking-Budget und asynchrones Tool Calling; DFlash-Drafter gibt es für beide.
Daten und Datenschutz: Selbst gehostet, die Daten bleiben also lokal. OpenMDW-1.1 erlaubt kommerzielle Nutzung ohne Umsatzgrenze; die Rechte erlöschen, wenn du wegen Patenten oder Urheberrechten am Modell klagst. NVIDIA veröffentlicht seine Datensätze für Pre- und Post-Training, führt aber viele Quellen als privat.
Kosten im großen Maßstab: Die Gewichte sind kostenlos, und Artificial Analysis nennt für das 74B keinen nutzungsabhängigen Preis. Hardware: eine 32-GB-GPU für 65K Kontext oder 48 GB für 262K beim 74B; E4B erreicht in NVIDIAs Tests Spitzenwerte von 3,1 bis 5,0 GB, von einer RTX 5070 bis zu Jetson Orin.
Grenzen: 74B: nur Ada Lovelace und Blackwell, Windows und Linux, Video bis zu zwei Minuten, hoher Token-Verbrauch. E4B: nur Text, 64K Kontext und 5,8 Sekunden bis zum ersten Token auf einem Jetson Orin Nano.

Was gut ist

21,4 auf dem Index von Artificial Analysis, Platz vier unter 100B
Bild- und zweiminütige Video-Eingabe in einer 22-GB-Datei
OpenMDW-1.1: kommerzielle Nutzung, keine Umsatzgrenze
E4B: 548 ms bis zum ersten Token auf einer RTX 5070 (NVIDIA)

Was nicht

Das 74B braucht trotz des Namens eine 32-GB-GPU
In NVIDIAs eigenen Tests langsamer als Qwen3.6-35B-A3B und Gemma 4
82K Ausgabe-Tokens pro Index-Aufgabe von AA
E4B liegt auf Tau2-Bench und bei langem Kontext hinter Qwen3.5 4B

Am besten für

Entwickler mit einer NVIDIA-GPU ab 32 GB oder einem RTX bzw. DGX Spark, die ein leistungsfähiges lokales multimodales Agentenmodell wollen, sowie Gerätehersteller, die Sprachassistenten auf Jetson oder RTX bauen.

Alternativen zu Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)

Nemotron 3.5 Super VL

NVIDIAVision & multimodalOpen weights

4.1/5

NVIDIA's open 120B hybrid Mamba MoE that reads images, documents and video, with a 1M-token context and published training recipes.

Gemma 4

GoogleSmall & on-deviceOpen weights

4.4/5

Google's Apache 2.0 open model family, from phone-sized E2B to a 31B model for one GPU, with image, video and audio input.

Underdog Saluki 27B 1.0

Conway Research (Underdog)Small & on-deviceOpen weights

3.6/5

Qwen3.8-27B squeezed into a 7.89 GB 2-bit file that keeps tool calling intact, under Apache 2.0.

Qwen3.8-27B

Alibaba (Qwen)General purposeOpen weights

4.5/5

Alibaba's Apache 2.0 dense model: 27 billion parameters, image and video input, and coding scores that rival models many times its size.

Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB): häufige Fragen

Lohnt sich Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?: Das 74B bringt einen Top-5-Wert unter den Modellen unter 100B auf eine einzelne Workstation-GPU, aber die 24GB im Namen sind ein Budget für die Gewichte, nicht die Karte, die du brauchst. Wir bewerten es mit 3.9 von 5.
Was kostet Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?: Kostenlose offene Gewichte unter OpenMDW-1.1. Für keines der beiden Modelle ist ein nutzungsabhängiger API-Preis veröffentlicht; für E4B gibt es einen Endpunkt auf build.nvidia.com.
Welche Nachteile hat Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?: Das 74B braucht trotz des Namens eine 32-GB-GPU; In NVIDIAs eigenen Tests langsamer als Qwen3.6-35B-A3B und Gemma 4; 82K Ausgabe-Tokens pro Index-Aufgabe von AA; E4B liegt auf Tau2-Bench und bei langem Kontext hinter Qwen3.5 4B.
Für wen eignet sich Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?: Entwickler mit einer NVIDIA-GPU ab 32 GB oder einem RTX bzw. DGX Spark, die ein leistungsfähiges lokales multimodales Agentenmodell wollen, sowie Gerätehersteller, die Sprachassistenten auf Jetson oder RTX bauen.
Was kostet Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) für ein Team oder im Produktivbetrieb?: Die Gewichte sind kostenlos, und Artificial Analysis nennt für das 74B keinen nutzungsabhängigen Preis. Hardware: eine 32-GB-GPU für 65K Kontext oder 48 GB für 262K beim 74B; E4B erreicht in NVIDIAs Tests Spitzenwerte von 3,1 bis 5,0 GB, von einer RTX 5070 bis zu Jetson Orin.
Ist Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) sicher für Firmendaten?: Selbst gehostet, die Daten bleiben also lokal. OpenMDW-1.1 erlaubt kommerzielle Nutzung ohne Umsatzgrenze; die Rechte erlöschen, wenn du wegen Patenten oder Urheberrechten am Modell klagst. NVIDIA veröffentlicht seine Datensätze für Pre- und Post-Training, führt aber viele Quellen als privat.
Was sind die besten Alternativen zu Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)?: Die nächsten Alternativen, die wir getestet haben, sind Nemotron 3.5 Super VL, Gemma 4, Underdog Saluki 27B 1.0 und Qwen3.8-27B.

Antworten geprüft am 28. Okt. 2026.