VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
Auch: GPU memory
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Eine GPU kann nur mit Daten in ihrem eigenen Speicher schnell rechnen. Passt ein Modell nicht hinein, lässt es sich entweder gar nicht laden oder weicht per CPU-Offloading auf langsameren Systemspeicher aus, was die Geschwindigkeit stark senkt. Deshalb ist „Wie viel VRAM brauche ich?“ meist die erste Frage, wenn du ein Modell selbst betreibst.
Was beim Ausführen eines Modells VRAM belegt
Zuerst kommen die Gewichte: die Zahl der Parameter mal die Bytes pro Parameter. Niedrigere Präzision oder Quantisierung verkleinert das, zum Beispiel von 16-Bit- auf 4-Bit-Gewichte. Als Nächstes kommt der KV-Cache, der mit der Kontextlänge und der Zahl gleichzeitiger Anfragen wächst. Eine Serving-Engine braucht außerdem etwas Arbeitsspeicher und Overhead.
Training braucht mehr
Training fügt zu den Gewichten noch Gradienten, den Zustand des Optimierers und gespeicherte Aktivierungen hinzu. Der Leitfaden von Hugging Face merkt an, dass Adam allein 8 Bytes pro Parameter hinzufügt und dass Batch-Größe oder Sequenzlänge den GPU-Speicher erschöpfen können, selbst wenn das Modell selbst passt. Deshalb gibt es Methoden wie LoRA und QLoRA.
Den Bedarf schätzen
Unser GPU-Rechner schätzt den VRAM für ein bestimmtes Modell, eine Präzision und eine Kontextlänge. Lass Spielraum, statt die Karte voll auszureizen. Macs und einige neuere Chips nutzen Unified Memory, bei dem CPU und GPU einen Pool teilen. Damit lassen sich größere Modelle laden als auf den meisten Consumer-Grafikkarten, bei geringerer Geschwindigkeit. Wenn lokal nichts groß genug ist, miete eine Karte in einer KI-GPU-Cloud.
Verwandte Begriffe
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
- Unified Memory
- Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.