Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

VRAM

VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.

Auch: GPU memory

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Eine GPU kann nur mit Daten in ihrem eigenen Speicher schnell rechnen. Passt ein Modell nicht hinein, lässt es sich entweder gar nicht laden oder weicht per CPU-Offloading auf langsameren Systemspeicher aus, was die Geschwindigkeit stark senkt. Deshalb ist „Wie viel VRAM brauche ich?“ meist die erste Frage, wenn du ein Modell selbst betreibst.

Was beim Ausführen eines Modells VRAM belegt

Zuerst kommen die Gewichte: die Zahl der Parameter mal die Bytes pro Parameter. Niedrigere Präzision oder Quantisierung verkleinert das, zum Beispiel von 16-Bit- auf 4-Bit-Gewichte. Als Nächstes kommt der KV-Cache, der mit der Kontextlänge und der Zahl gleichzeitiger Anfragen wächst. Eine Serving-Engine braucht außerdem etwas Arbeitsspeicher und Overhead.

Training braucht mehr

Training fügt zu den Gewichten noch Gradienten, den Zustand des Optimierers und gespeicherte Aktivierungen hinzu. Der Leitfaden von Hugging Face merkt an, dass Adam allein 8 Bytes pro Parameter hinzufügt und dass Batch-Größe oder Sequenzlänge den GPU-Speicher erschöpfen können, selbst wenn das Modell selbst passt. Deshalb gibt es Methoden wie LoRA und QLoRA.

Den Bedarf schätzen

Unser GPU-Rechner schätzt den VRAM für ein bestimmtes Modell, eine Präzision und eine Kontextlänge. Lass Spielraum, statt die Karte voll auszureizen. Macs und einige neuere Chips nutzen Unified Memory, bei dem CPU und GPU einen Pool teilen. Damit lassen sich größere Modelle laden als auf den meisten Consumer-Grafikkarten, bei geringerer Geschwindigkeit. Wenn lokal nichts groß genug ist, miete eine Karte in einer KI-GPU-Cloud.

Verwandte Begriffe

Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Modellparameter
Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
GPU
Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
Unified Memory
Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.

Quellen