팀이 오픈 모델을 한 가지 좁은 작업에 맞게 미세 조정할 때는 보통 가중치를 바꾸고 토크나이저는 그대로 둡니다. Dharma-AI는 이것이 비싼 습관이라고 주장합니다. 아직 심사 중인 논문을 미리 소개한 Hugging Face 글에서, 이 회사는 기반 모델, 데이터, 학습 방식은 그대로 두고 어휘만 다시 만들어 실제 운영 모델의 측정된 추론 비용을 77% 줄였다고 밝혔습니다.
대상 모델은 포르투갈어 작문을 채점하는 Qwen3-4B 기반 모델로, 평가 항목마다 JSON으로 평가를 돌려줍니다. 토크나이저는 여러 언어와 글 종류를 위해 만든 원래 것이었고 항목이 151,669개였습니다. 이로 인해 두 가지 낭비가 생깁니다. 채점 모델이 요청마다 쓰는 JSON 틀과 평가 항목 이름 같은 문구가 여러 토큰으로 쪼개집니다. 또 토큰을 하나 만들 때마다 이 작업에서 전혀 쓰지 않는 항목까지 포함해 어휘 전체에 점수를 매깁니다. 이 크기의 모델에서는 그 일을 하는 출력층이 매개변수의 거의 10%를 차지합니다.
VocabX라는 방법은 어휘가 최적화하는 기준을 바꿉니다. 새 토큰을 문자열이 얼마나 자주 나오느냐로 고르지 않고, 줄어드는 양을 그 비용으로 가중합니다. 이번 사례에서는 생성 토큰 하나가 읽는 토큰보다 7.4배 비쌌으므로 응답에서의 절감이 훨씬 크게 반영됩니다. 또 두 단계에서 동시에 작동해 단어를 조각내는 방식을 다시 짜고, 표현부터 JSON 구조 전체까지 길게 반복되는 구간을 하나의 매크로 토큰으로 만듭니다. 표본에 없는 후보를 통계적으로 추정하자 계약서 말뭉치의 토큰 감소율이 44.7%에서 52.8%로 올랐습니다. 채점 모델에서는 RTX 5090의 vLLM으로 요청 500건을 측정한 결과, 평균 응답이 350토큰에서 101토큰으로 줄었고 품질 점수는 0.703에서 0.810으로 올랐습니다.
이 결과는 Qwen이든 Gemma든 작은 미세 조정 모델을 대량으로 돌리는 사람에게 의미가 있습니다. 저자 들은 Liquid AI의 기존 어휘 확장 방식을 포함한 기존 방법과 비교하며, 그런 방법은 빈도로 토큰을 고르고 한 단계에서만 작동한다고 말합니다.
주의가 필요합니다. 수치는 출력 형식이 매우 반복적인 실제 작업 하나에서 나온 것으로, 이 기법에 거의 가장 유리한 조건입니다. 논문은 아직 발표되지 않았고, 저자들도 수치가 바뀔 수 있다고 말합니다. 생성 토큰과 읽는 토큰의 비용 비율은 하드웨어, 배치 크기, 컨텍스트 길이에 따라 달라지므로 절감 폭도 달라집니다. 시험해 볼 가치는 있지만 아직 당연하게 여길 단계는 아닙니다.