Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KV-Cache

Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.

Auch: key-value cache

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

In einem Transformer achtet jedes neue Token über den Attention-Mechanismus auf jedes frühere Token, der pro Token und Schicht einen Key- und einen Value-Vektor nutzt. Ohne Cache würde das Modell diese Vektoren bei jedem Schritt für die ganze Sequenz neu berechnen. Der KV-Cache hält sie im Speicher, sodass die Generierung des nächsten Tokens nur einen neuen Satz hinzufügt.

Die Speicherkosten

Der Cache wächst mit der Zahl der Tokens im Kontext, der Zahl der Schichten und der Zahl gleichzeitiger Anfragen. Bei langen Prompts oder vielen Nutzern kann er so viel VRAM belegen wie die Gewichte selbst, weshalb ein Modell auf eine Karte passen und trotzdem bei langem Kontext scheitern kann. Das PagedAttention-Paper beschreibt den KV-Cache-Speicher pro Anfrage als riesig und in seiner Größe wechselnd, während Anfragen wachsen und enden; verschwendeter Cache-Speicher begrenzt, wie viele Anfragen ein Server bündeln kann.

Wie Engines ihn verwalten

Paged Attention, eingeführt mit vLLM, speichert den Cache in Blöcken fester Größe, ähnlich wie Seiten im virtuellen Speicher, um Fragmentierung zu vermeiden und Blöcke zwischen Anfragen mit demselben Präfix zu teilen. Engines können den Cache auch auf niedrigere Präzision quantisieren oder in den CPU-Speicher auslagern.

KV-Cache und Prompt Caching

Der KV-Cache lebt innerhalb einer Generierung. Prompt Caching, das API-Anbieter anbieten, behält den berechneten Zustand für ein wiederholtes Prompt-Präfix über getrennte Anfragen hinweg, was Zeit und Geld spart. Der GPU-Rechner bezieht die Kontextlänge in seine Speicherschätzung ein.

Verwandte Begriffe

VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
PagedAttention
PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
Prompt Caching
Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
Kontextfenster
Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
Attention-Mechanismus
Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.

Quellen