본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

트랜스포머(아키텍처)

트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.

다른 이름: transformer model

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

트랜스포머 이전에는 언어 모델이 주로 텍스트를 한 단어씩 읽는 순환 신경망을 썼습니다. 2017년 논문 "Attention Is All You Need"는 순환과 합성곱을 버리고 오직 어텐션에만 기반한 아키텍처를 제안했습니다. 병렬성이 더 높고 학습이 훨씬 빨라, 오늘날의 대형 모델을 현실로 만들었습니다.

작동 방식

텍스트를 토큰으로 나누고 각 토큰을 벡터로 만듭니다. 트랜스포머는 똑같은 레이어를 여러 겹 쌓습니다. 각 레이어에서 어텐션 메커니즘이 모든 토큰으로 하여금 컨텍스트 윈도우 안의 다른 모든 토큰에 가중치를 두어 무엇이 관련 있는지 판단하게 하고, 그다음 피드포워드 네트워크가 그 결과를 처리합니다. 학습 중에는 모든 토큰을 한꺼번에 처리하므로 작업이 GPU에 잘 분산됩니다.

변형

원래 설계는 번역을 위한 인코더와 디코더를 갖췄습니다. GPT와 Llama 계열 같은 대부분의 채팅 모델은 디코더 전용이며 토큰을 하나씩 생성합니다. 즉 자기회귀 모델입니다. BERT 같은 인코더 전용 모델은 임베딩에 흔히 쓰입니다.

한계와 이름

표준 어텐션의 비용은 시퀀스 길이의 제곱으로 늘어나며, 그래서 긴 컨텍스트가 비쌉니다. 상태 공간 모델 같은 대안이 이를 해결하려 합니다. 이 페이지는 아키텍처에 관한 것이며, 그런 모델을 실행하는 소프트웨어인 Hugging Face Transformers 라이브러리에 관한 것이 아닙니다.

관련 용어

어텐션 메커니즘
어텐션 메커니즘(attention mechanism)은 신경망이 처리하는 각 토큰에 대해 입력의 다른 모든 토큰에 얼마만큼의 가중치를 줄지 정하게 하는 방법입니다. 셀프 어텐션(self-attention)은 트랜스포머 내부의 핵심 연산입니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
자기회귀 모델
자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
상태 공간 모델(State space model)
상태 공간 모델(state space model, SSM)은 토큰을 하나씩 읽으면서 고정 크기의 은닉 상태를 앞으로 전달하는 시퀀스 모델로, 비용이 입력 길이에 비례해 선형으로 늘어납니다. 가장 잘 알려진 예는 Mamba입니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.

출처