본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

초당 토큰 수(Tokens per second)

초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.

다른 이름: tok/s, throughput

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

첫 토큰이 도착하고 나면, 초당 토큰 수가 응답의 나머지가 얼마나 걸릴지 정합니다. 토큰은 흔히 단어의 일부인 텍스트 조각이므로 tok/s는 초당 단어 수가 아니며, 같은 텍스트도 토크나이저에 따라 개수가 다를 수 있습니다.

사용자별과 시스템별

두 수치는 서로 다른 질문에 답합니다. 사용자별 속도는 한 사람이 응답이 흘러 들어오는 것을 보며 느끼는 속도입니다. 시스템별 처리량은 NVIDIA 벤치마킹 문서의 정의에 따르면 모든 동시 요청에 걸친 전체 출력 토큰 처리량입니다. 동시 요청을 늘리면 보통 GPU가 포화될 때까지 시스템 처리량은 오르고, 각 사용자의 스트림은 느려집니다. 제공업체와 벤치마크가 어느 쪽을 뜻하는지 늘 밝히지는 않습니다.

제한 요인

디코딩 중 새 토큰마다 모델의 가중치를 메모리에서 읽어야 하므로, 속도는 메모리 대역폭과 모델 크기에 크게 좌우됩니다. 그래서 양자화, 더 작은 모델, 그리고 토큰마다 가중치의 일부만 쓰는 전문가 혼합 모델이 더 빨리 생성하는 경우가 많습니다. 추측 디코딩과 연속 배칭은 서빙 엔진에서 속도를 높이는 흔한 방법입니다.

수치 활용법

로컬 모델이라면 GPU 계산기가 모델이 VRAM에 들어가는지, 얼마나 빨리 돌아갈지 추정합니다. 호스팅 모델이라면 출력 길이, 프롬프트 길이, 서버 부하가 모두 결과를 바꾸므로 자신의 프롬프트로 측정하십시오. 전체 응답 시간을 추정하려면 첫 토큰까지의 시간과 함께 보십시오.

관련 용어

첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
추측 디코딩(Speculative decoding)
추측 디코딩(speculative decoding)은 작고 빠른 초안 모델이 토큰 여러 개를 제안하고, 큰 모델이 한 번의 패스로 이를 확인해 받아들인 토큰을 유지하는 방식으로 텍스트 생성을 빠르게 합니다. 출력은 큰 모델 혼자 만들었을 결과와 같습니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.

출처