어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
다른 이름: self-attention, attention
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
어텐션은 언어 모델이 지금 보고 있는 단어에 앞선 어떤 단어들이 중요한지 알아내는 방법입니다. "the trophy did not fit in the case because it was too small"(가방이 너무 작아서 트로피가 들어가지 않았다)라는 문장에서 모델이 "it"을 "case"와 연결하게 해 주는 부분이 어텐션입니다.
작동 방식
각 토큰은 쿼리(query), 키(key), 값(value)이라는 세 벡터로 바뀝니다. 모델은 한 토큰의 쿼리를 모든 토큰의 키와 비교해 점수를 얻고, 그 점수를 합이 1이 되는 가중치로 바꾼 뒤, 값들을 가중 평균합니다. 그 결과가 토큰의 새로운 표현이 됩니다. 셀프 어텐션은 쿼리, 키, 값이 모두 같은 시퀀스에서 나온다는 뜻입니다. 모델은 이를 헤드(head)라고 부르는 여러 개로 병렬 실행해, 헤드마다 서로 다른 관계를 추적할 수 있게 합니다.
어텐션은 2017년 이전에도 순환 신경망과 함께 쓰였습니다. 트랜스포머를 소개한 논문은 순환 없이 어텐션만으로 만든 신경망이 더 빨리 학습하고 번역도 더 잘한다는 것을 보여 주었습니다.
개발할 때 중요한 이유
어텐션은 모든 토큰을 다른 모든 토큰과 비교하므로, 입력이 길어질수록 비용이 빠르게 늘어납니다. 긴 컨텍스트 윈도가 비싼 이유 중 하나입니다. 생성 중에는 모델이 이전의 키와 값을 KV 캐시에 저장해 새 토큰마다 다시 계산하지 않으며, GPU 메모리를 채우 는 것은 흔히 이 캐시입니다. 페이지드 어텐션 같은 기법이 이 메모리를 관리하고, 상태 공간 모델 같은 대안은 이 비용을 아예 피하려 합니다.
한계
어텐션 가중치는 모델이 무엇을 "보았는지" 설명하는 자료로 제시되기도 합니다. 유용한 단서이지만, 모델이 왜 그 답을 냈는지에 대한 완전한 설명은 아닙니다.
관련 용어
- 트랜스포머(아키텍처)
- 트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- PagedAttention
- PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
- 상태 공간 모델(State space model)
- 상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.