인스트럭트 모델
인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
다른 이름: instruction-tuned model, -Instruct, chat model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델 이름이 -Instruct, -it, -chat으로 끝나면, 대개 같은 출시의 베이스 모델을 지시 튜닝한 버전입니다. 베이스 모델은 텍스트를 이어 쓰기만 합니다. 인스트럭트 모델은 요청을 읽고 답하는 법을 배웠습니다.
만드는 방법
개발자는 사전 학습된 모델에서 시작해, 지시와 원하는 답의 예시로 지도 미세 조정을 실행합니다. Google의 FLAN 논문은 이런 지시 튜닝이 모델을 보지 못한 작업에서 훨씬 더 잘하게 만든다는 것을 보여 주었습니다. 이어 OpenAI의 InstructGPT 연구는 사람이 모델 출력에 순위를 매기고 RLHF로 모델을 추가 조정하는 단계를 더했습니다. 최신 모델은 그 대신 DPO나 비슷한 방법을 쓰는 경우가 많습니다. 인스트럭트 모델은 채팅 템플릿도 배웁니다. 시스템, 사용자, 어시스턴트의 차례를 표시하는 특수 토큰입니다.
베이스와 인스트럭트
대부분의 앱에는 인스트럭트 모델을 쓰십시오. 시스템 프롬프트를 따르고, 질문에 답하고, 도구를 쓰고, 일부 요청은 거절합니다. 중립적인 출발점에서 직접 미세 조정을 할 계획이거나, 자동 완성처럼 단순한 텍스트 이어 쓰기를 원할 때는 베이스 모델을 고르십시오.
주의할 점
모델이 학습한 채팅 템플릿을 쓰십시오. 많은 로컬 실행 도구가 이를 대신 적용해 주지만, 잘못된 템플릿은 공개 인스트럭트 모델이 이상한 답을 내는 흔한 이유입니다. 지시 튜닝은 긴 답이나 거절처럼 원치 않는 방식으로 행동을 바꾸기도 하며, 그 자체로 모델을 더 사실에 충실하게 만들지는 않습니다.
관련 용어
- 베이스 모델
- 베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
- 지도 파인튜닝(Supervised fine-tuning)
- 지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
- RLHF
- RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
- 시스템 프롬프트(System prompt)
- 시스템 프롬프트(system prompt)는 애플리케이션이 사용자 메시지보다 먼저 언어 모델에 보내는 지시 블록입니다. 대화 전체에 걸쳐 모델의 역할, 규칙, 어조, 출력 형식을 정합니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.