토크나이저(Tokenizer)
토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.
다른 이름: tokenization, BPE, byte pair encoding
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모든 언어 모델에는 학습 시점에 고정된 자체 토 크나이저가 딸려 있습니다. 모델을 다시 학습하지 않고는 다른 토크나이저로 바꿀 수 없습니다.
작동 방식
대부분의 현대 토크나이저는 하위 단어 단위를 씁니다. 2015년 Sennrich 등의 논문은 바이트 쌍 인코딩(BPE)에 기반한 분할을 써서 드물거나 모르는 단어를 하위 단어 단위의 나열로 인코딩할 수 있음을 보였습니다. BPE는 문자나 바이트에서 시작해 가장 자주 나오는 쌍을 반복적으로 합쳐 새 어휘 항목으로 만듭니다. 흔한 단어는 결국 토큰 하나가 되고, 드문 단어는 여러 조각으로 나뉘므로, 모델은 처음 보는 단어도 처리할 수 있습니다.
개발자가 신경 쓰는 이유
토크나이저는 텍스트가 몇 개의 토큰이 되는지 정하며, 이는 비용, 속도, 그리고 컨텍스트 윈도우에 얼마나 들어가는지를 좌우합니다. 주로 영어로 학습한 토크나이저는 다른 언어를 훨씬 많은 토큰으로 쪼갤 수 있어, 그 언어를 더 느리고 비싸게 만듭니다. 공백, 숫자, 코드 서식은 예상 밖의 방식으로 토큰화될 수 있으며, 이는 모델이 때때로 글자 수를 세거나 자릿수 연산을 어려워하는 이유를 설명하는 데 도움이 됩니다.
실제로는
토큰 수를 셀 때는 모델에 맞는 토크나이저를 쓰십시오. Hugging Face Transformers 라이브러리는 모델마다 맞는 토크나이저를 불러옵니다.
관련 용어
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.