본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

RLHF

RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.

다른 이름: reinforcement learning from human feedback

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

사전 학습된 모델은 그럴듯한 텍스트를 예측하지만, 이는 도움이 되고 정직한 답을 주는 것과 같지 않습니다. RLHF는 이 간극을 메우는 한 방법입니다. GPT-3를 지시를 따르는 모델로 바꾼 OpenAI의 InstructGPT 논문(Ouyang 등, 2022)으로 널리 알려졌습니다.

작동 방식

InstructGPT 방식은 세 단계입니다. 먼저 사람들이 프롬프트에 대한 좋은 답을 쓰고, 모델을 이것으로 지도 파인튜닝합니다. 둘째, 모델이 프롬프트마다 여러 답을 쓰면 레이블러가 순위를 매기고, 별도의 보상 모델이 그 순위를 예측하도록 학습합니다. 셋째, 모델을 강화 학습(논문에서는 PPO)으로 학습시켜 보상 모델이 높게 평가하는 답을 내게 하되, 패널티로 시작 모델에서 너무 멀어지지 않게 합니다.

논문의 인간 평가에서 1.3B 파라미터 InstructGPT 모델의 출력이 175B GPT-3의 출력보다 선호되었습니다. 파라미터가 100배 적은데도 그랬습니다.

한계

RLHF는 비싸고 까다롭습니다. 많은 사람의 레이블링, 두 번째 모델, 불안정할 수 있는 RL 루프가 필요합니다. 모델이 실제로 나아지기보다 보상 모델의 약점을 이용하는 법을 배울 수 있습니다. 레이블러의 선호도 결과를 좌우하며, 이는 더 넓은 AI 정렬 논쟁의 일부입니다.

RLHF와 DPO

직접 선호 최적화는 같은 종류의 선호 데이터를 쓰지만 별도의 보상 모델과 RL 루프를 건너뜁니다. 그래서 지금은 많은 오픈 모델이 대신 이것이나 그 변형을 씁니다.

관련 용어

직접 선호 최적화(DPO)
직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
보상 모델(Reward model)
보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.

출처