Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Attention-Mechanismus

Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.

Auch: self-attention, attention

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Attention ist der Weg, auf dem ein Sprachmodell herausfindet, welche früheren Wörter für das Wort zählen, das es gerade betrachtet. Im Satz „the trophy did not fit in the case because it was too small“ ist Attention der Teil, der das Modell „it“ mit „case“ verknüpfen lässt.

So funktioniert es

Jedes Token wird in drei Vektoren umgewandelt: eine Query, einen Key und einen Value. Das Modell vergleicht die Query eines Tokens mit dem Key jedes Tokens, um einen Wert zu erhalten, wandelt die Werte in Gewichte um, die sich zu eins addieren, und bildet dann eine gewichtete Mischung der Values. Diese Mischung wird zur neuen Repräsentation des Tokens. Self-Attention bedeutet, dass Queries, Keys und Values alle aus derselben Sequenz stammen. Modelle führen mehrere davon parallel aus, sogenannte Heads, sodass verschiedene Heads verschiedene Beziehungen verfolgen können.

Attention wurde schon vor 2017 zusammen mit rekurrenten Netzen eingesetzt. Das Paper, das den Transformer einführte, zeigte, dass ein Netz nur aus Attention, ganz ohne Rekurrenz, schneller trainierte und besser übersetzte.

Warum es beim Bauen wichtig ist

Attention vergleicht jedes Token mit jedem anderen, daher steigen die Kosten schnell, wenn die Eingabe länger wird. Das ist ein Grund, warum lange Kontextfenster teuer sind. Bei der Generierung speichern Modelle frühere Keys und Values in einem KV-Cache, damit sie sie nicht für jedes neue Token neu berechnen, und dieser Cache ist oft das, was den GPU-Speicher füllt. Techniken wie Paged Attention verwalten diesen Speicher, und Alternativen wie State-Space-Modelle versuchen, die Kosten ganz zu vermeiden.

Grenzen

Attention-Gewichte werden manchmal als Erklärung dafür gezeigt, worauf ein Modell „geschaut“ hat. Sie sind ein nützlicher Hinweis, keine vollständige Erklärung, warum das Modell eine Antwort erzeugt hat.

Verwandte Begriffe

Transformer (Architektur)
Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Kontextfenster
Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
PagedAttention
PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
State Space Model
Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.

Quellen