본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

지도 파인튜닝(Supervised fine-tuning)

지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.

다른 이름: SFT, instruction tuning

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

사전 학습을 막 마친 기본 모델은 인터넷 텍스트의 다음 토큰을 예측합니다. 질문에 답하거나 형식을 따르는 것을 믿을 수 없습니다. 지도 파인튜닝은 모델에게 많은 시연을 보여 줘 이를 고칩니다. 프롬프트와, 사람이 원할 바로 그 응답입니다. 모델은 그 응답을 재현하도록 학습합니다.

학습 파이프라인에서의 위치

대부분의 채팅 모델이 따르는 InstructGPT 방식에서는 SFT가 먼저 옵니다. 레이블러가 원하는 동작의 시연을 쓰고, 모델을 그것으로 파인튜닝했습니다. 그다음에야 RLHF가 왔습니다. 사람들이 모델 출력에 순위를 매기고, 보상 모델이 그 순위로부터 학습하고, 강화 학습이 SFT 모델을 더 조정했습니다. 새로운 파이프라인은 RLHF를 DPO로 바꾸는 경우가 많지만, 출발점은 여전히 SFT입니다. 결과물은 instruct 모델입니다.

개발자에게

오픈 모델을 자신의 데이터로 파인튜닝한다면 거의 항상 SFT를 하는 것입니다. 데이터는 입력과 출력 쌍으로 된 파일이며, 흔히 채팅 형식입니다. 양보다 질이 중요합니다. 깔끔하고 일관된 예시 수천 개가 잡음 많은 대량 세트보다 대개 낫습니다. TRL 같은 라이브러리가 SFT 트레이너를 제공하며, SFT는 흔히 LoRA 같은 파라미터 효율적 방법과 함께 쓰입니다.

한계

SFT는 모델에게 모방을 가르칩니다. "이 답이 저 답보다 낫다"는 것을 쉽게 표현하지 못하며, 이것이 선호 기반 방법이 더하는 부분입니다. 학습 예시의 오류나 빈틈을 모델이 자신 있게 따라 하게 만들 수도 있습니다.

관련 용어

파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
인스트럭트 모델
인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
직접 선호 최적화(DPO)
직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
파라미터 효율적 파인튜닝(PEFT)
파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.
베이스 모델
베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.

출처