본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

상태 공간 모델(State space model)

상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.

다른 이름: SSM, Mamba, selective state space model

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

트랜스포머는 모든 토큰을 다른 모든 토큰과 비교하므로 입력이 길어지면 비용이 가파르게 오르고, KV cache도 토큰마다 커집니다. 상태 공간 모델은 누적 요약에 더 가깝게 작동합니다. 고정 크기의 은닉 상태를 유지하며 토큰마다 한 번씩 갱신하므로, 메모리는 일정하고 연산은 길이에 따라 직선으로 늘어납니다.

기원

이 아이디어는 제어 이론에서 왔습니다. 제어 이론에서 상태 공간 모델은 시스템의 상태가 입력에 따라 어떻게 바뀌는지 기술합니다. 2021년 S4 논문은 이를 매우 긴 시퀀스에 대한 딥러닝에 실용적으로 적용했습니다. 초기 SSM은 장거리 벤치마크에서는 잘했지만 언어에서는 트랜스포머에 뒤졌습니다.

Mamba

2023년에 발표된 Mamba는 그 격차를 상당 부분 좁혔습니다. 핵심 변화는 SSM의 파라미터가 입력에 따라 달라지게 한 것으로, 그래서 모델이 토큰마다 무엇을 유지하고 무엇을 잊을지 고를 수 있습니다. 저자들은 이를 선택적 SSM이라고 부르며, 시퀀스 길이에 대한 선형 확장과 트랜스포머보다 높은 추론 처리량을 보고합니다.

오늘날의 활용

순수 SSM은 하이브리드보다 덜 흔합니다. 최근 많은 모델이 어텐션 레이어 몇 개와 많은 SSM 또는 비슷한 선형 레이어를 섞어, 긴 컨텍스트 윈도우에서 메모리를 덜 쓰면서 어텐션 품질의 대부분을 얻으려 합니다.

한계

고정 크기 상태는 과거를 압축해야 하므로, 긴 입력에서 멀리 앞에 있던 세부 사항을 정확히 기억하는 능력은 어텐션보다 약할 수 있습니다. 도구도 덜 성숙했습니다. 일부 서빙 엔진과 양자화 형식은 트랜스포머 레이어보다 SSM 레이어를 늦게 지원하므로, 배포를 계획하기 전에 지원 여부를 확인하십시오.

관련 용어

트랜스포머(아키텍처)
트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.

출처