베이스 모델
베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
다른 이름: pretrained checkpoint, pretrained model, -Base
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
베이스 모델에게 "프랑스의 수도는 어디인가?"라고 물으면 답할 수도 있지만, 퀴즈 문제를 세 개 더 쓸 수도 있습니다. 질문 목록은 그럴듯한 이어 쓰기이기 때문입니다. 모델은 사전 학습 동안 언어와 많은 사실을 배웠지만, 어시스턴트처럼 행동하도록 배우지는 않았습니다.
어디서 보는가
공개 모델은 흔히 두 가지 버전으로 출시됩니다. 베이스 체크포인트와 인스트럭트 모델입니다. ERNIE 5.5 Flash Base처럼 이름에 이를 밝히는 경우도 있습니다. 호스팅 API는 거의 항상 튜닝된 버전만 제공합니다.
쓰는 이유
베이스 모델은 다른 팀의 문체, 거절 방식, 채팅 형식이 배어 있지 않으므로 자체 미세 조정의 일반적인 출발점입니다. 연구자들은 사전 학습만으로 무엇이 만들어지는지 연구하는 데 이를 씁니다. 코드 완성이나 주어진 문체로 텍스트 생성하기처럼 순수한 이어 쓰기 작업에도 뛰어납니다.
프롬프트를 모델이 자연스럽게 이어 쓸 텍스트로 구성하고 앞에 예시 몇 개를 두면, 베이스 모델로도 쓸모 있는 결과를 얻을 수 있습니다. GPT-3 논문이 바로 그렇게 했습니다. 미세 조정 없이 과제와 예시를 텍스트로만 주어 모델을 시험했습니다. 이것이 퓨샷 프롬프팅입니다.
파운데이션 모델과 다른 점
파운데이션 모델은 여러 작업에 맞춰 조정하도록 만든 범용 모델 전반을 말합니다. 베이스 모델은 특정 체크포인트, 즉 튜닝하지 않은 체크포인트입니다. 그 위에 만든 인스트럭트 모델은 여전히 파운데이션 모델이지만 더 이상 베이스 모델은 아닙니다.
관련 용어
- 인스트럭트 모델
- 인스트럭트 모델(instruct model)은 베이스 언어 모델을 지시와 좋은 답의 쌍으로, 흔히 인간 피드백으로도 추가 학습시켜, 텍스트를 이어 쓰는 대신 요청을 따르게 만든 모델입니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
- 파운데이션 모델
- 파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 퓨샷 프롬프팅
- 퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.