상태 공간 모델(State space model)
상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
다른 이름: SSM, Mamba, selective state space model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
트랜스포머는 모든 토큰을 다른 모든 토큰과 비교하므로 입력이 길어지면 비용이 가파르게 오르고, KV cache도 토큰마다 커집니다. 상태 공간 모델은 누적 요약에 더 가깝게 작동합니다. 고정 크기의 은닉 상태를 유지하며 토큰마다 한 번씩 갱신하므로, 메모리는 일정하고 연산은 길이에 따라 직선으로 늘어납니다.
기원
이 아이디어는 제어 이론에서 왔습니다. 제어 이론에서 상태 공간 모델은 시스템의 상태가 입력에 따라 어떻게 바뀌는지 기술합니다. 2021년 S4 논문은 이를 매우 긴 시퀀스에 대한 딥러닝에 실용적으로 적용했습니다. 초기 SSM은 장거리 벤치마크에서는 잘했지만 언어에서는 트랜스포머에 뒤졌습니다.
Mamba
2023년에 발표된 Mamba는 그 격차를 상당 부분 좁혔습니다. 핵심 변화는 SSM의 파라미터가 입력에 따라 달라지게 한 것으로, 그래서 모델이 토큰마다 무엇을 유지하고 무엇을 잊을지 고를 수 있습니다. 저자들은 이를 선택적 SSM이라고 부르며, 시퀀스 길이에 대한 선형 확장과 트랜스포머보다 높은 추론 처리량을 보고합니다.
오늘날의 활용
순수 SSM은 하이브리드보다 덜 흔합니다. 최근 많은 모델이 어텐션 레이어 몇 개와 많은 SSM 또는 비슷한 선형 레이어를 섞어, 긴 컨 텍스트 윈도우에서 메모리를 덜 쓰면서 어텐션 품질의 대부분을 얻으려 합니다.
한계
고정 크기 상태는 과거를 압축해야 하므로, 긴 입력에서 멀리 앞에 있던 세부 사항을 정확히 기억하는 능력은 어텐션보다 약할 수 있습니다. 도구도 덜 성숙했습니다. 일부 서빙 엔진과 양자화 형식은 트랜스포머 레이어보다 SSM 레이어를 늦게 지원하므로, 배포를 계획하기 전에 지원 여부를 확인하십시오.
관련 용어
- 트랜스포머(아키텍처)
- 트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
- 어텐션 메커니즘
- 어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 전문가 혼합(Mixture of experts)
- 전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.