본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

토크나이저(Tokenizer)

토크나이저(tokenizer)는 텍스트를 토큰으로 나눠 언어 모델이 처리할 수 있는 숫자 ID로 바꾸고, 모델이 출력한 ID를 다시 텍스트로 바꾸는 구성 요소입니다.

다른 이름: tokenization, BPE, byte pair encoding

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모든 언어 모델에는 학습 시점에 고정된 자체 토크나이저가 딸려 있습니다. 모델을 다시 학습하지 않고는 다른 토크나이저로 바꿀 수 없습니다.

작동 방식

대부분의 현대 토크나이저는 하위 단어 단위를 씁니다. 2015년 Sennrich 등의 논문은 바이트 쌍 인코딩(BPE)에 기반한 분할을 써서 드물거나 모르는 단어를 하위 단어 단위의 나열로 인코딩할 수 있음을 보였습니다. BPE는 문자나 바이트에서 시작해 가장 자주 나오는 쌍을 반복적으로 합쳐 새 어휘 항목으로 만듭니다. 흔한 단어는 결국 토큰 하나가 되고, 드문 단어는 여러 조각으로 나뉘므로, 모델은 처음 보는 단어도 처리할 수 있습니다.

개발자가 신경 쓰는 이유

토크나이저는 텍스트가 몇 개의 토큰이 되는지 정하며, 이는 비용, 속도, 그리고 컨텍스트 윈도우에 얼마나 들어가는지를 좌우합니다. 주로 영어로 학습한 토크나이저는 다른 언어를 훨씬 많은 토큰으로 쪼갤 수 있어, 그 언어를 더 느리고 비싸게 만듭니다. 공백, 숫자, 코드 서식은 예상 밖의 방식으로 토큰화될 수 있으며, 이는 모델이 때때로 글자 수를 세거나 자릿수 연산을 어려워하는 이유를 설명하는 데 도움이 됩니다.

실제로는

토큰 수를 셀 때는 모델에 맞는 토크나이저를 쓰십시오. Hugging Face Transformers 라이브러리는 모델마다 맞는 토크나이저를 불러옵니다.

관련 용어

토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
임베딩
임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.

출처