Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Transformer (Architektur)

Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.

Auch: transformer model

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Vor Transformern nutzten Sprachmodelle meist rekurrente Netze, die Text Wort für Wort lasen. Das Paper „Attention Is All You Need“ von 2017 schlug eine Architektur vor, die allein auf Attention beruht und auf Rekurrenz und Faltungen verzichtet. Sie war stärker parallelisierbar und viel schneller zu trainieren, was die großen Modelle von heute praktikabel machte.

So funktioniert es

Text wird in Tokens zerlegt, und jedes Token wird zu einem Vektor. Ein Transformer stapelt viele identische Schichten. In jeder lässt der Attention-Mechanismus jedes Token jedes andere Token im Kontextfenster gewichten, um zu entscheiden, was relevant ist, dann verarbeitet ein Feed-Forward-Netz das Ergebnis. Weil im Training alle Tokens gleichzeitig verarbeitet werden, verteilt sich die Arbeit gut auf GPUs.

Varianten

Der ursprüngliche Aufbau hatte einen Encoder und einen Decoder für Übersetzung. Die meisten Chat-Modelle, etwa die Familien GPT und Llama, sind reine Decoder und erzeugen ein Token nach dem anderen; sie sind autoregressive Modelle. Reine Encoder-Modelle wie BERT sind für Embeddings verbreitet.

Grenzen und der Name

Die Kosten von Standard-Attention wachsen mit dem Quadrat der Sequenzlänge, weshalb langer Kontext teuer ist. Alternativen wie State Space Models sollen das beheben. Diese Seite handelt von der Architektur, nicht von der Transformers-Bibliothek von Hugging Face, einer Software zum Ausführen solcher Modelle.

Verwandte Begriffe

Attention-Mechanismus
Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Autoregressives Modell
Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
State Space Model
Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.
Token (LLM)
Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.

Quellen