본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

보상 모델(Reward model)

보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.

다른 이름: preference model

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

학습 중에 사람이 수백만 개의 모델 출력을 평가할 수는 없으므로, 보상 모델이 사람을 대신합니다. 보통은 마지막 레이어를 숫자 하나를 출력하도록 바꾼 언어 모델입니다. 비교로부터 학습합니다. 프롬프트와 응답 두 개, 그리고 사람이 어느 쪽을 선호했는지를 보고, 선호된 쪽에 더 높은 점수를 주도록 학습합니다.

쓰이는 곳

보상 모델은 RLHF의 핵심입니다. OpenAI의 요약 연구와 이후의 InstructGPT에서는 사람들이 출력을 비교하거나 순위를 매기고, 모델이 그 선호를 예측하도록 학습한 뒤, 그 모델이 정책 모델의 강화 학습에서 보상 함수 역할을 했습니다. 정책 모델은 보통 지도 파인튜닝의 결과물입니다.

학습 밖에서도 쓰입니다. 추론 시점에 샘플링한 여러 답 중 가장 좋은 것을 고르는 데 쓰며, 이는 테스트 타임 컴퓨트의 한 형태입니다. 합성 데이터를 거르거나 순위를 매기는 데도 씁니다.

보상 모델과 DPO

DPO는 별도의 보상 모델 없이 선호 쌍으로 언어 모델을 직접 학습합니다. 실행이 더 간단해서 많은 오픈 모델이 이를 씁니다. 재사용할 수 있는 채점기가 필요하거나 온라인 강화 학습을 하려면 별도의 보상 모델이 여전히 유용합니다.

한계

보상 모델은 사람들이 원하는 것의 근사치일 뿐입니다. 이에 맞춰 강하게 최적화한 정책은 점수는 높지만 실제로 더 낫지는 않은 출력, 예를 들어 길거나 아첨하는 답을 찾아낼 수 있습니다. 이를 보상 해킹(reward hacking)이라고 하며, 학습 파이프라인은 정책이 시작점에서 너무 멀리 벗어나면 불이익을 주어 이를 억제합니다.

관련 용어

RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
직접 선호 최적화(DPO)
직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.

출처