본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

추측 디코딩(Speculative decoding)

추측 디코딩(speculative decoding)은 작고 빠른 초안 모델이 토큰 여러 개를 제안하고, 큰 모델이 한 번의 패스로 이를 확인해 받아들인 토큰을 유지하는 방식으로 텍스트 생성을 빠르게 합니다. 출력은 큰 모델 혼자 만들었을 결과와 같습니다.

다른 이름: draft model

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

대규모 언어 모델은 보통 순전파 한 번에 토큰 하나를 생성하며, 패스마다 모든 가중치를 메모리에서 읽습니다. 그래서 GPU에 연산 여유가 있어도 디코딩이 느립니다. 2022년 Leviathan 등이 설명한 추측 디코딩은 그 남는 연산을 활용합니다.

작동 방식

더 저렴한 초안 모델이 다음 몇 개 토큰을 추측합니다. 그러면 큰 대상 모델이 그 위치 전부를 한꺼번에 병렬로 채점합니다. 대상 모델이 동의하는 토큰은 유지하고, 처음 의견이 갈리는 지점에서는 대상 모델 자신의 선택을 쓰고 초안의 나머지는 버립니다. 특별한 샘플링 규칙이 최종 텍스트가 대상 모델과 같은 분포를 따르도록 보장하므로 품질은 바뀌지 않습니다. 논문은 T5-XXL에서 출력은 동일하면서 2X-3X의 속도 향상을 보고합니다.

도움이 되는 경우

이득은 초안이 얼마나 자주 맞느냐에 달려 있습니다. 코드, 구조화된 출력, 프롬프트의 일부를 되풀이하는 답처럼 예측 가능한 텍스트에서 가장 잘 통합니다. 별도의 초안 모델을 건너뛰는 변형도 있습니다. 주 모델에 추가 예측 헤드를 붙이는 방식도 있고, 프롬프트 자체에서 그럴듯한 이어짐을 찾아보는 방식도 있습니다. vLLM과 SGLang 같은 서빙 엔진은 여러 방법을 지원합니다.

비용

초안 모델에는 자체 메모리가 필요하고, 틀린 추측은 연산을 낭비합니다. GPU가 이미 바쁜 대량 배치 부하에서는 이득이 줄어듭니다. 적용 전후로 자신의 트래픽에서 초당 토큰 수를 측정하십시오. 더 넓은 그림은 추론과 모델 서빙을 참고하십시오.

관련 용어

추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
초당 토큰 수(Tokens per second)
초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
자기회귀 모델
자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.
지식 증류
지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.

출처