본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

직접 선호 최적화(DPO)

직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.

다른 이름: DPO

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

DPO는 Rafailov 등이 2023년에 RLHF와 같은 목표에 이르는 더 단순한 길로 소개했습니다. 둘 다 선호 데이터에서 시작합니다. 프롬프트마다 사람들이 더 좋아한 답 하나와 덜 좋아한 답 하나입니다. RLHF는 먼저 그 데이터로 보상 모델을 학습시킨 뒤, 그 모델을 상대로 강화 학습을 실행합니다. DPO는 같은 목표를 다시 써서 언어 모델 자체를 그 쌍으로 학습시킬 수 있음을 보여 줍니다. 손실 함수는 고정된 참조용 모델 사본과 비교해, 거부된 답에 비해 선택된 답의 확률을 높입니다.

널리 쓰인 이유

학습시킬 두 번째 모델이 없고 학습 중에 모델에서 샘플링할 필요도 없으므로, DPO는 일반적인 지도 미세 조정처럼 실행됩니다. 논문은 이를 안정적이고, 성능이 좋고, 계산이 가볍다고 설명하며, 시험한 과제에서 PPO 기반 RLHF와 같거나 더 나은 결과를 보고합니다. Unsloth와 Axolotl을 비롯한 많은 공개 미세 조정 도구가 이를 지원합니다.

한계

DPO는 주어진 쌍에서만 배우므로 데이터 품질이 매우 중요합니다. 잡음이 많거나 일관되지 않은 선호는 혼란스러운 모델을 만듭니다. 보통 지도 미세 조정을 대신하는 것이 아니라 그 뒤에 적용합니다. 오프라인 방식이라 강화 학습 루프처럼 새로운 답을 탐색할 수 없으며, 이후의 여러 변형이 이 문제를 다루려 합니다. 모델을 조정하는 방법의 큰 그림은 미세 조정을 참고하십시오.

관련 용어

RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
보상 모델(Reward model)
보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.

출처