본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

파인튜닝(미세 조정)

파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.

다른 이름: finetuning

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

사전 학습된 모델은 매우 큰 말뭉치에서 일반적인 언어를 배웠습니다. 파인튜닝은 그 가중치를 가져와 선택한 예시로 계속 학습시킵니다. 팀이 답하는 방식으로 답한 지원 티켓, 사내 스타일의 코드, 정해진 형식의 의료 기록 등입니다. 학습 루프는 사전 학습과 같습니다. 차이는 무작위 가중치가 아니라 동작하는 모델에서 시작한다는 점이며, 그래서 데이터와 컴퓨팅이 훨씬 적게 듭니다.

파인튜닝의 종류

지도 미세 조정은 입력과 원하는 출력의 쌍으로 학습합니다. RLHF나 DPO 같은 선호 튜닝은 두 답 중 사람들이 어느 쪽을 선호했는지로 학습합니다. 전체 파인튜닝은 모든 가중치를 갱신합니다. LoRA 같은 매개변수 효율적 방법은 작은 애드온만 학습시키고 베이스 모델은 고정하므로, 메모리를 줄이고 베이스 모델 하나에 여러 어댑터를 둘 수 있게 합니다.

언제 쓰는가

파인튜닝은 행동을 가르치는 데 좋습니다. 일관된 출력 형식, 좁은 분류 작업, 사내 어조, 또는 작은 모델이 한 가지 일을 큰 모델만큼 잘하게 만드는 것입니다. 자주 바뀌는 사실을 더하는 데는 맞지 않습니다. 지식이 학습 시점에 고정되고 들여다보기 어렵기 때문입니다. 그런 경우에는 보통 검색 증강 생성이 더 나은 첫 단계이며, 많은 팀은 둘 다 하기 전에 신중한 프롬프팅부터 시도합니다.

한계

깨끗하고 대표성 있는 예시, 학습에서 떼어 둔 평가 세트, 베이스 모델이 갱신될 때 다시 학습시킬 계획이 필요합니다. 좁은 데이터로 너무 강하게 학습시키면 모델이 일반적인 능력을 잊을 수도 있습니다. 파인튜닝 단계 가이드에 Unsloth와 Axolotl 같은 도구가 정리되어 있습니다.

관련 용어

LoRA
LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
직접 선호 최적화(DPO)
직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
사전 학습(Pretraining)
사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
파라미터 효율적 파인튜닝(PEFT)
파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.

출처