본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

자기회귀 모델

자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.

다른 이름: next-token prediction, ARM, causal language model

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

자기회귀란 모델의 출력이 다음 입력의 일부가 된다는 뜻입니다. 문장을 쓰기 위해 모델은 토큰 하나를 예측해 덧붙이고, 다시 예측하기를 정지 토큰을 내거나 한도에 이를 때까지 반복합니다. 예를 들어 GPT-3의 개발자들은 이를 자기회귀 언어 모델이라고 설명합니다.

다음 토큰 예측

다음 토큰 예측(next-token prediction)은 그 바탕에 있는 학습 목표입니다. 사전 학습 동안 모델은 엄청난 양의 텍스트를 보고, 가능한 모든 다음 토큰에 확률을 매기는 법을 배웁니다. 생성할 때는 temperature 같은 샘플링 설정이 그 분포에서 토큰 하나를 고릅니다. 트랜스포머는 마스크를 써서 각 위치가 앞선 위치에만 어텐션하게 하므로, 학습 방식이 생성 방식과 일관됩니다.

실제로 의미하는 것

토큰이 하나씩 차례로 나오므로 응답 시간은 출력 길이에 따라 달라집니다. 출력 토큰이 입력 토큰보다 비싼 경우가 많은 이유 중 하나이며, 스트리밍이 유용한 이유이기도 합니다. 텍스트가 도착하는 대로 보여 줄 수 있기 때문입니다. 추측 디코딩과 KV 캐시 같은 속도 개선 기법은 모두 이 한 번에 하나씩 도는 루프를 우회합니다.

모델은 되돌아갈 수도 없습니다. 한번 고른 토큰은 그대로 남으므로, 초반의 실수가 답 전체로 이어질 수 있습니다. 추론 모델은 최종 답 전에 단계를 적어 나가는 방식으로 이를 부분적으로 우회합니다.

대안

확산 언어 모델은 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 위치를 병렬로 채웁니다. LLaDA 논문은 LLM의 핵심 능력이 자기회귀 방식에 달려 있다는 통념에 이의를 제기합니다.

관련 용어

확산 언어 모델
확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
트랜스포머(아키텍처)
트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
추측 디코딩(Speculative decoding)
추측 디코딩(speculative decoding)은 작고 빠른 초안 모델이 토큰 여러 개를 제안하고, 큰 모델이 한 번의 패스로 이를 확인해 받아들인 토큰을 유지하는 방식으로 텍스트 생성을 빠르게 합니다. 출력은 큰 모델 혼자 만들었을 결과와 같습니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.

출처