Transformer (Architektur)
Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
Auch: transformer model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Vor Transformern nutzten Sprachmodelle meist rekurrente Netze, die Text Wort für Wort lasen. Das Paper „Attention Is All You Need“ von 2017 schlug eine Architektur vor, die allein auf Attention beruht und auf Rekurrenz und Faltungen verzichtet. Sie war stärker parallelisierbar und viel schneller zu trainieren, was die großen Modelle von heute praktikabel machte.
So funktioniert es
Text wird in Tokens zerlegt, und jedes Token wird zu einem Vektor. Ein Transformer stapelt viele identische Schichten. In jeder lässt der Attention-Mechanismus jedes Token jedes andere Token im Kontextfenster gewichten, um zu entscheiden, was relevant ist, dann verarbeitet ein Feed-Forward-Netz das Ergebnis. Weil im Training alle Tokens gleichzeitig verarbeitet werden, verteilt sich die Arbeit gut auf GPUs.
Varianten
Der ursprüngliche Aufbau hatte einen Encoder und einen Decoder für Übersetzung. Die meisten Chat-Modelle, etwa die Familien GPT und Llama, sind reine Decoder und erzeugen ein Token nach dem anderen; sie sind autoregressive Modelle. Reine Encoder-Modelle wie BERT sind für Embeddings verbreitet.
Grenzen und der Name
Die Kosten von Standard-Attention wachsen mit dem Quadrat der Sequenzlänge, weshalb langer Kontext teuer ist. Alternativen wie State Space Models sollen das beheben. Diese Seite handelt von der Architektur, nicht von der Transformers-Bibliothek von Hugging Face, einer Software zum Ausführen solcher Modelle.
Verwandte Begriffe
- Attention-Mechanismus
- Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Autoregressives Modell
- Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
- State Space Model
- Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.