Ein State-Space-Modell (SSM) ist im Kontext moderner KI eine Klasse von neuronalen Netzwerkarchitekturen für die Sequenzmodellierung, die eine Sequenz mithilfe eines versteckten Zustands verarbeitet, der bei jedem Schritt gemäß Gleichungen aus der Regelungstechnik und der Signalverarbeitung aktualisiert wird. Im Gegensatz zum Transformer, dessen Self-Attention-Mechanismus jedes Token mit jedem anderen Token vergleicht und daher quadratisch mit der Sequenzlänge skaliert, aktualisieren State-Space-Modelle einen versteckten Zustand fester Größe an jeder Position, was ihnen eine lineare oder nahezu lineare Skalierung mit der Kontextlänge verleiht.
Das am weitesten verbreitete diskutierte neuronale State-Space-Modell ist Mamba, eingeführt von Albert Gu und Tri Dao im Dezember 2023, das einen eingabeabhängigen, oder selektiven, Mechanismus zu früheren linearen State-Space-Modellen hinzufügte, sodass das Modell bei jedem Schritt wählen konnte, was es sich merken oder vergessen sollte, um eine zentrale Schwäche früherer SSMs bei Sprachaufgaben zu beheben.
Geschichte
State-Space-Modelle haben eine lange Geschichte in der Regelungstechnik, wo sie beschreiben, wie sich der interne Zustand eines Systems im Laufe der Zeit entwickeltund beobachtbare Ausgaben erzeugt. Frühe neuronale Adaptionen, wie das von Stanford-Forschern im Jahr 2021 veröffentlichte S4-Modell, zeigten, dass eine sorgfältig parametrisierte lineare State-Space-Schicht sehr lange Sequenzen wettbewerbsfähig mit rekurrenten neuronalen Netzen und Faltungsansätzen bei Benchmarks verarbeiten konnte, die langreichweitige Abhängigkeiten betonen. Diese frühen SSMs schnitten beim Sprachmodellieren schlechter ab als Transformer, bis Mambas selektiver Mechanismus von 2023 einen Großteil der Lücke schloss, was erneutes Interesse an SSMs als potenzielle Transformer-Alternative weckte.
Architektur und Mechanismus
Eine grundlegende SSM-Schicht hält einen versteckten Zustandsvektor, der durch eine lineare Rekurrenz an jeder Sequenzposition aktualisiert wird, konzeptionell ähnlich einem LSTM, aber mit einer mathematischen Struktur, die während des Trainings eine effiziente parallele Berechnung durch Faltung oder parallele Scan-Algorithmen ermöglicht. Selektive SSMs wie Mamba machen die Parameter der Rekurrenz zu einer Funktion der aktuellen Eingabe, sodass das Modell dynamisch entscheiden kann, welche Informationen es vorwärts propagiert, eine Fähigkeit, die näher an der inhaltsbasierten Suche der Aufmerksamkeit liegt als an einem festen linearen Filter. Hybride Architekturen, die SSM-Schichten mit einer kleineren Anzahl von Aufmerksamkeitsschichten verschachteln, um die lineare Zeiteffizienz von SSMs zusammen mit etwas der Ausdruckskraft der Aufmerksamkeit zu erreichen, erschienen von mehreren Labors bis 2024 und 2025.
Vergleich mit Transformatoren
Der Hauptvorteil von State-Space-Modellen ist die Inferenzeffizienz bei langen Sequenzen: Da der versteckte Zustand eine feste Größe hat, erfordert das Erzeugen jedes neuen Tokens nicht, erneut auf den gesamten wachsenden Kontext zu achten, im Gegensatz zur standardmäßigen Transformer-Inferenz, die Aufmerksamkeit über frühere Tokens neu berechnet, was in der Praxis teilweise durch Key-Value-Caching gemildert wird. Dies macht SSMs attraktiv für sehr lange Kontextfensterund ressourcenbeschränkte Bereitstellung. Bis 2025 hatten reine SSMs jedoch die meisten Sprach-Benchmarks nicht klar übertroffen gegenüber gut abgestimmten Transformatoren, und ein Großteil der Aktivität des Feldes verlagerte sich hin zu hybriden Designs, anstatt Aufmerksamkeit vollständig zu ersetzen.
Rezeption und Ausblick
Mamba und seine Nachfolger wurden als eine der glaubwürdigeren architektonischen Herausforderungen an die Transformer-Dominanz seit dem ursprünglichen Attention Is All You Need-Paper von 2017 aufgenommen, was erhebliches akademisches Interesse und mehrere Open-Source-Implementierungen erzeugte. Forscher, darunter Yann LeCun und andere, haben angemerkt, dass rekurrenter Zustand, ob in einem LSTM oder einem SSM, Vorteile für Aufgaben bieten könnte, die Überlegungen über sehr lange Eingaben erfordern, wie das Verarbeiten ganzer Bücher, Codebasen oder genomischer Sequenzen. Stand 2025 blieben State-Space-Modelle eine Minderheitsarchitektur in der Produktion von großen Sprachmodellen im Vergleich zu Transformatoren, beeinflussten jedoch weiterhin das Design hybrider Modelle an mehreren großen Labors.