첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
다른 이름: TTFT, latency
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
TTFT는 화면에 무언가 나타나기 전의 지연입니다. 채팅, 음성, 코딩 어시스턴트에서는 이것이 전체 생성 시간보다도 모델을 빠르거나 느리게 느끼게 하는 경우가 많습니다. 스트리밍 응답을 쓰면 첫 토큰이 도착하자마자 사용자가 읽기 시작할 수 있기 때문입니다.
구성 요소
NVIDIA의 벤치마킹 문서는 TTFT가 일반적으로 요청 대기 시간, 프리필 시간, 네트워크 지연을 포함한다고 설명합니다. 프리필은 모델이 프롬프트 전체를 읽고 KV cache를 만드는 단계이므로, 프롬프트가 길수록 TTFT가 늘어납니다. 서버가 바쁘면 대기 시간이 더해집니다. 데이터 센터까지의 거리는 네트워크 시간을 더합니다.
처리량과의 차이
첫 토큰 이후의 속도는 토큰 간 지연이나 초당 토큰 수로 측정합니다. 모델은 TTFT가 짧으면서 생성이 느릴 수도 있고, 그 반대일 수도 있습니다. 전체 응답 시간은 대략 TTFT에 출력 토큰 수 곱하기 토큰당 시간을 더한 값입니다. 추론 모델은 보이는 답이 시작되기 전에 숨겨진 생각 토큰에 시간을 쓸 수도 있으며, 사용자는 이를 긴 TTFT로 체감합니다.
줄이는 방법
프롬프트를 짧게 유지하거나, 프롬프트 캐싱으로 고정된 접두부를 재사용해 프리필 작업 대부분을 건너뛰십시오. 더 작은 모델이나 사용자와 가까운 제공업체 리전을 고르십시오. 셀프 호스팅할 때는 서버에 과부하를 주지 마십시오. 대기 시간이 금세 대부분을 차지합니다. 제공업체를 비교할 때는 자신의 프롬프트 길이와 현실적인 부하에서 TTFT를 측정하고, 평균이 아니라 백분위수를 보십시오. 엔진과 제공업체는 추론 서빙 가이드를 참고하십시오.
관련 용어
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
- 추론(인퍼런스)
- 추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 프롬프트 캐싱(Prompt caching)
- 프롬프트 캐싱(prompt caching)은 긴 시스템 프롬프트나 문서처럼 반복되는 프롬프트 접두부의 처리된 형태를 저장해, 같은 접두부로 시작하는 이후 요청을 더 싸고 빠르게 만드는 API 기능입니다.
- 스트리밍(LLM 출력)
- 스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.