본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

토큰(LLM)

토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.

다른 이름: tokens

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

언어 모델은 글자나 단어를 직접 보지 않습니다. 토크나이저가 텍스트를 토큰으로 나누고 각 토큰을 숫자에 대응시키며, 모델은 앞선 토큰들로부터 다음 토큰을 예측합니다.

왜 중요한가

토큰은 거의 모든 실질적 한도의 단위입니다. 컨텍스트 윈도우는 토큰 수입니다. API 요금은 입력 토큰과 출력 토큰마다 매겨지며, 이는 토큰 가격에서 다룹니다. 속도는 초당 토큰 수로 표시합니다. 가격은 AI 모델 가격 조사에서 비교해 보십시오.

토큰 하나는 몇 글자인가?

토크나이저와 언어에 따라 다릅니다. 흔한 영어 단어는 대개 토큰 하나지만, 드문 단어, 코드, 그리고 영어가 아닌 많은 문자 체계는 여러 토큰으로 나뉩니다. Anthropic 문서에 따르면 이전 모델에서는 토큰 하나가 영어 약 3.5자이며, 새 토크나이저는 같은 텍스트에서 토큰을 약 30퍼센트 더 만듭니다. 그래서 같은 텍스트라도 모델에 따라 비용이 다를 수 있습니다. 정확한 수치는 제공업체의 토큰 카운터를 사용하십시오.

다른 의미의 토큰이 아닙니다

이 페이지는 언어 모델의 텍스트 단위를 다룹니다. API 키나 OAuth 액세스 토큰 같은 API 또는 인증 토큰, 그리고 암호화폐 토큰과는 관계가 없습니다.

관련 용어

토크나이저(Tokenizer)
토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
초당 토큰 수(Tokens per second)
초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.

출처