보상 모델(Reward model)
보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
다른 이름: preference model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
학 습 중에 사람이 수백만 개의 모델 출력을 평가할 수는 없으므로, 보상 모델이 사람을 대신합니다. 보통은 마지막 레이어를 숫자 하나를 출력하도록 바꾼 언어 모델입니다. 비교로부터 학습합니다. 프롬프트와 응답 두 개, 그리고 사람이 어느 쪽을 선호했는지를 보고, 선호된 쪽에 더 높은 점수를 주도록 학습합니다.
쓰이는 곳
보상 모델은 RLHF의 핵심입니다. OpenAI의 요약 연구와 이후의 InstructGPT에서는 사람들이 출력을 비교하거나 순위를 매기고, 모델이 그 선호를 예측하도록 학습한 뒤, 그 모델이 정책 모델의 강화 학습에서 보상 함수 역할을 했습니다. 정책 모델은 보통 지도 파인튜닝의 결과물입니다.
학습 밖에서도 쓰입니다. 추론 시점에 샘플링한 여러 답 중 가장 좋은 것을 고르는 데 쓰며, 이는 테스트 타임 컴퓨트의 한 형태입니다. 합성 데이터를 거르거나 순위를 매기는 데도 씁니다.
보상 모델과 DPO
DPO는 별도의 보상 모델 없이 선호 쌍으로 언어 모델을 직접 학습합니다. 실행이 더 간단해서 많은 오픈 모델이 이를 씁니다. 재사용할 수 있는 채점기가 필요하거나 온라인 강화 학습을 하려면 별도의 보상 모델이 여전히 유용합니다.
한계
보상 모델은 사람들이 원하는 것의 근사치일 뿐입니다. 이에 맞춰 강하게 최적화한 정책은 점수는 높지만 실제로 더 낫지는 않은 출력, 예를 들어 길거나 아첨하는 답을 찾아낼 수 있습니다. 이를 보상 해킹(reward hacking)이라고 하며, 학습 파이프라인은 정책이 시작점에서 너무 멀리 벗어나면 불이익을 주어 이를 억제합니다.
관련 용어
- RLHF
- RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
- 직접 선호 최적화(DPO)
- 직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
- 지도 파인튜닝(Supervised fine-tuning)
- 지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
- LLM-as-a-judge
- LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
- AI 정렬
- AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.