AI 정렬
AI 정렬(AI alignment)은 AI 시스템의 행동이 사용자와 개발자가 실제로 의도한 바와 맞도록 만드는 작업입니다. 그럴듯한 텍스트를 예측하거나 좁은 점수를 최적화하는 데 그치지 않고, 도움이 되고 정직하며 해를 피하게 하는 것이 목표입니다.
다른 이름: alignment, model alignment
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
다음 단어 예측만 학습한 모델은 인터넷을 흉내 내는 법을 배우며, 그 오류와 최악의 내용까지 따라 합니다. InstructGPT 논문은 문제를 분명하게 정리했습니다. 언어 모델을 키운다고 해서 그 자체로 사용자의 의도를 더 잘 따르게 되지는 않으며, 그런 모델은 사실이 아니거나, 유해하거나, 도움이 되지 않을 수 있습니다. 그런 의미에서 사용자와 정렬되어 있지 않다는 것입니다.
오늘날 모델을 정렬하는 방법
대부분의 채팅 모델은 사전 학습 뒤에 사후 학습을 거칩니다. 먼저 좋은 답변 예시로 지도 미세 조정을 합니다. 그다음 선호 학습을 합니다. 사람들이 답변 쌍에 순위를 매기고, 보상 모델을 쓰는 RLHF나 DPO 같은 직접적인 방법으로 모델을 선호된 답변 쪽으로 조정합니다. 연구소들은 모델이 따르도록 학습시킬 규칙이나 원칙도 작성하고, 레드팀 테스트로 결과를 검증합니다.
두 가지 의미
제품 개발에서 정렬은 보통 위의 실용적인 목표를 뜻합니다. 지시를 따르고, 명백히 해로운 요청은 거절하고, 불확실하면 인정하는 모델입니다. AI 안전 연구에서는 더 장기적인 질문도 포함합니다. 목표를 정확히 명시하기 어렵고 시스템이 지름길을 찾을 수 있을 때, 훨씬 유능한 시스템이 사람들이 의도한 목표를 계속 추구하게 하는 방법입니다. 둘은 겹치지만 같지는 않습니다.
한계
정렬 학습은 행동을 바꾸지만 바탕에 있는 지식은 바꾸지 않으며, 우회될 수 있습니다. 탈옥은 정렬에 빈틈이 있다는 증거입니다. 선호 학습은 모델이 옳은 답을 내기보다 평가자를 기쁘게 하도록, 예를 들어 맞장구를 치거나 장황하게 말하도록 가르칠 수도 있습니다. 그래서 애플리케이션은 여전히 그 위에 자체 가드레일과 평가를 더합니다.
관련 용어
- RLHF
- RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
- AI 레드 티밍(AI red teaming)
- AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
- 직접 선호 최적화(DPO)
- 직접 선호 최적화(DPO, direct preference optimization)는 보상 모델과 강화 학습 대신 단순한 분류 방식의 손실 함수를 써서, 선호된 답과 거부된 답의 쌍으로 직접 학습해 언어 모델을 사람의 선호에 맞추는 방법입니다.
- 보상 모델(Reward model)
- 보상 모델(reward model)은 인간 선호 데이터로 학습해 응답이 얼마나 좋은지 점수를 매기는 별도의 모델입니다. 그다음 강화 학습이 이 점수를 써서 언어 모델을 사람들이 선호하는 답 쪽으로 조정합니다.
- 탈옥(LLM)
- 탈옥(jailbreak)은 역할극, 난독화, 특이한 인코딩, 긴 적대적 텍스트 등으로, 해로운 지시처럼 안전 학습이 거절하도록 되어 있는 출력을 언어 모델이 내게 만드는 프롬프트나 기법입니다.