지식 증류
지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
다른 이름: distilled model, distillation
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
많은 소형 언어 모델이 좋아지는 방법이 증류입니다. 학생은 원시 데이터에서만 배우는 대신 더 강한 모델이 하는 일에서 배웁니다.
작동 방식
이 개념은 Hinton, Vinyals, Dean이 2015년에 제시했습니다. 이들은 큰 모델이나 모델 앙상블의 지식을 배포하기 쉬운 하나의 더 작은 모델로 압축할 수 있음을 보였습니다. 고전적인 형태에서 학생은 정답 레이블 하나만이 아니라 교사가 답 전체에 매긴 확률 분포, 즉 소프트 타깃(soft target)에 맞추도록 학습합니다. 이 확률에는 어떤 오답이 거의 맞는지에 대한 추가 신호가 담겨 있습니다.
언어 모델에서 흔한 현대적 형태는 더 단순합니다. 교사가 답이나 추론 과정을 생성하고, 학생이 이를 합성 데이터로 삼아 미세 조정됩니다.
예시
이름에 "Distill"이 들어간 모델은 대개 작은 공개 모델을 더 큰 모델의 출력으로 미세 조정했다는 뜻입니다. 예를 들어 DeepSeek은 대형 R1 모델의 추론 패턴을 더 작은 모델들에 증류했다고 밝힙니다.
한계
학생이 어렵거나 특이한 작업에서 교사와 맞먹는 경우는 드뭅니다. 상용 모델의 출력으로 증류하면 해당 제공업체의 서비스 약관을 어길 수도 있으니 먼저 확인하십시오.
관련 용어
- 소형 언어 모델(Small language model)
- 소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 합성 데이터(Synthetic data)
- 합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.
- 지도 파인튜닝(Supervised fine-tuning)
- 지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.