토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
다른 이름: tokens
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
언어 모델은 글자나 단어를 직접 보지 않습니다. 토크나이저가 텍스트를 토큰으로 나누고 각 토큰을 숫자에 대응시키며, 모델은 앞선 토큰들로부터 다음 토큰을 예측합니다.
왜 중요한가
토큰은 거의 모든 실질적 한도의 단위입니다. 컨텍스트 윈도우는 토큰 수입니다. API 요금은 입력 토큰과 출력 토큰마다 매겨지며, 이는 토큰 가격에서 다룹니다. 속도는 초당 토큰 수로 표시합니다. 가격은 AI 모델 가격 조사에서 비교해 보십시오.
토큰 하나는 몇 글자인가?
토크나이저와 언어에 따라 다릅니다. 흔한 영어 단어는 대개 토큰 하나지만, 드문 단어, 코드, 그리고 영어가 아닌 많은 문자 체계는 여러 토큰으로 나뉩니다. Anthropic 문서에 따르면 이전 모델에서는 토큰 하나가 영어 약 3.5자이며, 새 토크나이저는 같은 텍스트에서 토큰을 약 30퍼센트 더 만듭니다. 그래서 같은 텍스트라도 모델에 따라 비용이 다를 수 있습니다. 정확한 수치는 제공업체의 토큰 카운터를 사용하십시오.
다른 의미의 토큰이 아닙니다
이 페이지는 언어 모델의 텍스트 단위를 다룹니다. API 키