초당 토큰 수(Tokens per second)
초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
다른 이름: tok/s, throughput
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
첫 토큰이 도착하고 나면, 초당 토큰 수가 응답의 나머지가 얼마나 걸릴지 정합니다. 토큰은 흔히 단어의 일부인 텍스트 조각이므로 tok/s는 초당 단어 수가 아니며, 같은 텍스트도 토크나이저에 따라 개수가 다를 수 있습니다.
사용자별과 시스템별
두 수치는 서로 다른 질문에 답합니다. 사용자별 속도는 한 사람이 응답이 흘러 들어오는 것을 보며 느끼는 속도입니다. 시스템별 처리량은 NVIDIA 벤치마킹 문서의 정의에 따르면 모든 동시 요청에 걸친 전체 출력 토큰 처리량입니다. 동시 요청을 늘리면 보통 GPU가 포화될 때까지 시스템 처리량은 오르고, 각 사용자의 스트림은 느려집니다. 제공업체와 벤치마크가 어느 쪽을 뜻하는지 늘 밝히지는 않습니다.
제한 요인
디코딩 중 새 토큰마다 모델의 가중치를 메모리에서 읽어야 하므로, 속도는 메모리 대역폭과 모델 크기에 크게 좌우됩니다. 그래서 양자화, 더 작은 모델, 그리고 토큰마다 가중치의 일부만 쓰는 전문가 혼합 모델이 더 빨리 생성하는 경우가 많습니다. 추측 디코딩과 연속 배칭