PagedAttention
PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
Auch: paged KV cache
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Beim Erzeugen von Text hält ein Modell einen KV-Cache vor: gespeicherte Attention-Keys und -Values für jedes bisherige Token. Er wächst mit jedem neuen Token, und niemand weiß vorher, wie lang eine Antwort wird. Ältere Server reservierten pro Anfrage einen zusammenhängenden Block GPU-Speicher, bemessen auf die maximale Länge. Der Großteil dieses Platzes blieb ungenutzt, und die Lücken zwischen den Blöcken konnte niemand sonst nutzen.
So funktioniert es
Das vLLM-Paper von 2023 übernahm die Idee des Paging von virtuellem Speicher aus Betriebssystemen. Der KV-Cache wird in kleine Blöcke aufgeteilt. Jede Anfrage hat eine Blocktabelle, die ihre logischen Positionen auf physische Blöcke irgendwo im Speicher abbildet, und neue Blöcke werden erst vergeben, wenn sie gebraucht werden. Der Attention-Kernel liest über die Tabelle. Die Autoren berichten von nahezu null Verschwendung im KV-Cache-Speicher und zwei- bis viermal so hohem Durchsatz wie frühere Systeme bei gleicher Latenz.
Weil Blöcke indirekt angesprochen werden, können Anfragen sie auch teilen. Mehrere Samples aus demselben Prompt oder viele Chats mit demselben langen System-Prompt können auf eine Kopie des gemeinsamen Präfixes zeigen. Das ist die Grundlage für Prefix Caching in Servern.
Warum es wichtig ist
Freier Speicher bedeutet einen größeren Batch, und ein größerer Batch bedeutet mehr Nutzer pro GPU. PagedAttention ermöglicht es Continuous Batching, Anfragen frei hinzuzufügen und zu entfernen. Es erschien zuerst in vLLM, und ähnliche Paging-Designs nutzen heute die meisten Model-Server im Produktivbetrieb.
Grenzen
Es verkleinert den KV-Cache selbst nicht; lange Kontexte brauchen weiterhin viel VRAM. Techniken wie KV-Cache-Quantisierung gehen das separat an.
Verwandte Begriffe
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Continuous Batching
- Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Attention-Mechanismus
- Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.