트랜스포머(아키텍처)
트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
다른 이름: transformer model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
트랜스포머 이전에는 언어 모델이 주로 텍스트를 한 단어씩 읽는 순환 신경망을 썼습니다. 2017년 논문 "Attention Is All You Need"는 순환과 합성곱을 버리고 오직 어텐션에만 기반한 아키텍처를 제안했습니다. 병렬성이 더 높고 학습이 훨씬 빨라, 오늘날의 대형 모델을 현실로 만들었습니다.
작동 방식
텍스트를 토큰으로 나누고 각 토큰을 벡터로 만듭니다. 트랜스포머는 똑같은 레이어를 여러 겹 쌓습니다. 각 레이어에서 어텐션 메커니즘이 모든 토큰으로 하여금 컨텍스트 윈도우 안의 다른 모든 토큰에 가중치를 두어 무엇이 관련 있는지 판단하게 하고, 그다음 피드포워드 네트워크가 그 결과를 처리합니다. 학습 중에는 모든 토큰을 한꺼번에 처리하므로 작업이 GPU에 잘 분산됩니다.
변형
원래 설계는 번역을 위한 인코더와 디코더를 갖췄습니다. GPT와 Llama 계열 같은 대부분의 채팅 모델은 디코더 전용이며 토큰을 하나씩 생성합니다. 즉 자기회귀 모델입니다. BERT 같은 인코더 전용 모델은 임베딩에 흔히 쓰입니다.
한계와 이름
표준 어텐션의 비용은 시퀀스 길이의 제곱으로 늘어나며, 그래서 긴 컨텍스트가 비쌉니다. 상태 공간 모델 같은 대안이 이를 해결하려 합니다. 이 페이지는 아키텍처에 관한 것이며, 그런 모델을 실행하는 소프트웨어인 Hugging Face Transformers 라이브러리에 관한 것이 아닙니다.
관련 용어
- 어텐션 메커니즘
- 어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 자기회귀 모델
- 자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
- 상태 공간 모델(State space model)
- 상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.