State Space Model
Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.
Auch: SSM, Mamba, selective state space model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Transformer vergleicht jedes Token mit jedem anderen, daher steigen die Kosten bei langen Eingaben steil an, und sein KV-Cache wächst mit jedem Token. Ein State Space Model funktioniert eher wie eine laufende Zusammenfassung. Es hält einen versteckten Zustand fester Größe und aktualisiert ihn einmal pro Token, sodass der Speicher konstant bleibt und der Rechenaufwand linear mit der Länge wächst.
Woher es kommt
Die Idee stammt aus der Regelungstechnik, wo ein Zustandsraummodell beschreibt, wie sich der Zustand eines Systems als Reaktion auf Eingaben ändert. Das S4-Paper von 2021 machte das für Deep Learning auf sehr langen Sequenzen praktikabel. Frühe SSMs schnitten bei Benchmarks mit weiten Abhängigkeiten gut ab, lagen bei Sprache aber hinter Transformern.
Mamba
Mamba, 2023 veröffentlicht, schloss einen Großteil dieser Lücke. Die zentrale Änderung ist, dass die Parameter des SSM von der Eingabe abhängen, sodass das Modell bei jedem Token wählen kann, was es behält und was es vergisst. Die Autoren nennen das ein selektives SSM und berichten von linearer Skalierung mit der Sequenzlänge und höherem Inferenzdurchsatz als bei Transformern.
Wie es heute genutzt wird
Reine SSMs sind seltener als Hybride. Viele neuere Modelle mischen einige Attention-Schichten mit vielen SSM- oder ähnlichen linearen Schichten, um den Großteil der Qualität von Attention bei geringerem Speicherbedarf in langen Kontextfenstern zu erreichen.
Grenzen
Ein Zustand fester Größe muss die Vergangenheit komprimieren, daher kann das genaue Erinnern an ein Detail weit hinten in einer langen Eingabe schwächer sein als mit Attention. Auch die Werkzeuge sind weniger ausgereift: Manche Serving-Engines und Quantisierungs-Formate unterstützen SSM-Schichten später als Transformer-Schichten, also prüfe die Unterstützung, bevor du ein Deployment planst.
Verwandte Begriffe
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- Attention-Mechanismus
- Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Mixture of Experts
- Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.