본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

지식 증류

지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.

다른 이름: distilled model, distillation

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

많은 소형 언어 모델이 좋아지는 방법이 증류입니다. 학생은 원시 데이터에서만 배우는 대신 더 강한 모델이 하는 일에서 배웁니다.

작동 방식

이 개념은 Hinton, Vinyals, Dean이 2015년에 제시했습니다. 이들은 큰 모델이나 모델 앙상블의 지식을 배포하기 쉬운 하나의 더 작은 모델로 압축할 수 있음을 보였습니다. 고전적인 형태에서 학생은 정답 레이블 하나만이 아니라 교사가 답 전체에 매긴 확률 분포, 즉 소프트 타깃(soft target)에 맞추도록 학습합니다. 이 확률에는 어떤 오답이 거의 맞는지에 대한 추가 신호가 담겨 있습니다.

언어 모델에서 흔한 현대적 형태는 더 단순합니다. 교사가 답이나 추론 과정을 생성하고, 학생이 이를 합성 데이터로 삼아 미세 조정됩니다.

예시

이름에 "Distill"이 들어간 모델은 대개 작은 공개 모델을 더 큰 모델의 출력으로 미세 조정했다는 뜻입니다. 예를 들어 DeepSeek은 대형 R1 모델의 추론 패턴을 더 작은 모델들에 증류했다고 밝힙니다.

한계

학생이 어렵거나 특이한 작업에서 교사와 맞먹는 경우는 드뭅니다. 상용 모델의 출력으로 증류하면 해당 제공업체의 서비스 약관을 어길 수도 있으니 먼저 확인하십시오.

관련 용어

소형 언어 모델(Small language model)
소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
합성 데이터(Synthetic data)
합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.

출처