Attention-Mechanismus
Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
Auch: self-attention, attention
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Attention ist der Weg, auf dem ein Sprachmodell herausfindet, welche früheren Wörter für das Wort zählen, das es gerade betrachtet. Im Satz „the trophy did not fit in the case because it was too small“ ist Attention der Teil, der das Modell „it“ mit „case“ verknüpfen lässt.
So funktioniert es
Jedes Token wird in drei Vektoren umgewandelt: eine Query, einen Key und einen Value. Das Modell vergleicht die Query eines Tokens mit dem Key jedes Tokens, um einen Wert zu erhalten, wandelt die Werte in Gewichte um, die sich zu eins addieren, und bildet dann eine gewichtete Mischung der Values. Diese Mischung wird zur neuen Repräsentation des Tokens. Self-Attention bedeutet, dass Queries, Keys und Values alle aus derselben Sequenz stammen. Modelle führen mehrere davon parallel aus, sogenannte Heads, sodass verschiedene Heads verschiedene Beziehungen verfolgen können.
Attention wurde schon vor 2017 zusammen mit rekurrenten Netzen eingesetzt. Das Paper, das den Transformer einführte, zeigte, dass ein Netz nur aus Attention, ganz ohne Rekurrenz, schneller trainierte und besser übersetzte.
Warum es beim Bauen wichtig ist
Attention vergleicht jedes Token mit jedem anderen, daher steigen die Kosten schnell, wenn die Eingabe länger wird. Das ist ein Grund, warum lange Kontextfenster teuer sind. Bei der Generierung speichern Modelle frühere Keys und Values in einem KV-Cache, damit sie sie nicht für jedes neue Token neu berechnen, und dieser Cache ist oft das, was den GPU-Speicher füllt. Techniken wie Paged Attention verwalten diesen Speicher, und Alternativen wie State-Space-Modelle versuchen, die Kosten ganz zu vermeiden.
Grenzen
Attention-Gewichte werden manchmal als Erklärung dafür gezeigt, worauf ein Modell „geschaut“ hat. Sie sind ein nützlicher Hinweis, keine vollständige Erklärung, warum das Modell eine Antwort erzeugt hat.
Verwandte Begriffe
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- PagedAttention
- PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
- State Space Model
- Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.