KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Auch: key-value cache
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
In einem Transformer achtet jedes neue Token über den Attention-Mechanismus auf jedes frühere Token, der pro Token und Schicht einen Key- und einen Value-Vektor nutzt. Ohne Cache würde das Modell diese Vektoren bei jedem Schritt für die ganze Sequenz neu berechnen. Der KV-Cache hält sie im Speicher, sodass die Generierung des nächsten Tokens nur einen neuen Satz hinzufügt.
Die Speicherkosten
Der Cache wächst mit der Zahl der Tokens im Kontext, der Zahl der Schichten und der Zahl gleichzeitiger Anfragen. Bei langen Prompts oder vielen Nutzern kann er so viel VRAM belegen wie die Gewichte selbst, weshalb ein Modell auf eine Karte passen und trotzdem bei langem Kontext scheitern kann. Das PagedAttention-Paper beschreibt den KV-Cache-Speicher pro Anfrage als riesig und in seiner Größe wechselnd, während Anfragen wachsen und enden; verschwendeter Cache-Speicher begrenzt, wie viele Anfragen ein Server bündeln kann.
Wie Engines ihn verwalten
Paged Attention, eingeführt mit vLLM, speichert den Cache in Blöcken fester Größe, ähnlich wie Seiten im virtuellen Speicher, um Fragmentierung zu vermeiden und Blöcke zwischen Anfragen mit demselben Präfix zu teilen. Engines können den Cache auch auf niedrigere Präzision quantisieren oder in den CPU-Speicher auslagern.
KV-Cache und Prompt Caching
Der KV-Cache lebt innerhalb einer Generierung. Prompt Caching, das API-Anbieter anbieten, behält den berechneten Zustand für ein wiederholtes Prompt-Präfix über getrennte Anfragen hinweg, was Zeit und Geld spart. Der GPU-Rechner bezieht die Kontextlänge in seine Speicherschätzung ein.
Verwandte Begriffe
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- PagedAttention
- PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
- Prompt Caching
- Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Attention-Mechanismus
- Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.