Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

State Space Model

Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.

Auch: SSM, Mamba, selective state space model

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein Transformer vergleicht jedes Token mit jedem anderen, daher steigen die Kosten bei langen Eingaben steil an, und sein KV-Cache wächst mit jedem Token. Ein State Space Model funktioniert eher wie eine laufende Zusammenfassung. Es hält einen versteckten Zustand fester Größe und aktualisiert ihn einmal pro Token, sodass der Speicher konstant bleibt und der Rechenaufwand linear mit der Länge wächst.

Woher es kommt

Die Idee stammt aus der Regelungstechnik, wo ein Zustandsraummodell beschreibt, wie sich der Zustand eines Systems als Reaktion auf Eingaben ändert. Das S4-Paper von 2021 machte das für Deep Learning auf sehr langen Sequenzen praktikabel. Frühe SSMs schnitten bei Benchmarks mit weiten Abhängigkeiten gut ab, lagen bei Sprache aber hinter Transformern.

Mamba

Mamba, 2023 veröffentlicht, schloss einen Großteil dieser Lücke. Die zentrale Änderung ist, dass die Parameter des SSM von der Eingabe abhängen, sodass das Modell bei jedem Token wählen kann, was es behält und was es vergisst. Die Autoren nennen das ein selektives SSM und berichten von linearer Skalierung mit der Sequenzlänge und höherem Inferenzdurchsatz als bei Transformern.

Wie es heute genutzt wird

Reine SSMs sind seltener als Hybride. Viele neuere Modelle mischen einige Attention-Schichten mit vielen SSM- oder ähnlichen linearen Schichten, um den Großteil der Qualität von Attention bei geringerem Speicherbedarf in langen Kontextfenstern zu erreichen.

Grenzen

Ein Zustand fester Größe muss die Vergangenheit komprimieren, daher kann das genaue Erinnern an ein Detail weit hinten in einer langen Eingabe schwächer sein als mit Attention. Auch die Werkzeuge sind weniger ausgereift: Manche Serving-Engines und Quantisierungs-Formate unterstützen SSM-Schichten später als Transformer-Schichten, also prüfe die Unterstützung, bevor du ein Deployment planst.

Verwandte Begriffe

Transformer (Architektur)
Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
Attention-Mechanismus
Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Kontextfenster
Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
Mixture of Experts
Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.

Quellen