사전 학습(Pretraining)
사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
다른 이름: pre-training
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
사전 학습은 언어 모델 이 지식과 능력의 대부분을 얻는 단계입니다. 모델은 웹 페이지, 책, 코드 등으로 이루어진 거대한 말뭉치를 읽고, 위치마다 다음 토큰을 예측하도록 학습합니다. 아무도 데이터에 레이블을 달지 않습니다. 텍스트 자체가 정답을 제공합니다. 그 결과물이 기본 모델입니다.
왜 중요한가
사전 학습은 단연 가장 비싼 단계라서, 대형 모델의 사전 학습을 하는 조직은 소수뿐입니다. 거의 모든 다른 곳은 사전 학습된 체크포인트에서 시작해 이를 적응시킵니다. GPT-3 논문은 이 방식을 설명합니다. 큰 말뭉치로 사전 학습한 뒤 작업에 맞게 파인튜닝하는 것입니다. 파운데이션 모델이라는 용어를 만든 2021년 보고서는 이 용어를 폭넓은 데이터로 학습한 뒤 여러 작업에 적응시키는 모델에 썼습니다.
사전 학습에 무엇이 들어가느냐가 이후의 모든 것을 결정합니다. 모델이 다루는 언어, 아는 코딩 스타일, 되풀이하는 내용, 그리고 지식 컷오프입니다. 그 데이터의 출처는 AI 학습 데이터를 참고하십시오.
파인튜닝과의 차이
파인튜닝과 사후 학습(instruction tuning, RLHF 등)은 훨씬 작고 엄선된 데이터셋으로 모델의 동작을 바꿉니다. 지시를 따르고, 특정 형식으로 답하고, 일부 요청을 거절하게 합니다. 새로운 지식은 비교적 적게 더합니다. 모델이 어떤 사실을 모른다면 파인튜닝은 대개 좋은 해결책이 아니며, 검색이 더 나은 경우가 많습니다.
지속 사전 학습
팀은 때때로 파인튜닝 전에 법률이나 의료 텍스트 같은 도메인 말뭉치로 사전 학습을 더 진행합니다. 이는 두 단계 사이에 있으며, 처음부터 사전 학습하는 것보다 비용이 훨씬 적게 듭니다.
관련 용어
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 파운데이션 모델
- 파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
- AI 학습 데이터
- AI 학습 데이터(AI training data)는 웹 텍스트, 코드, 이미지, 녹취록, 레이블이 붙은 쌍처럼 모델이 학습하는 예시의 모음입니다. 그 규모, 품질, 구성, 라이선스가 모델이 할 수 있는 일과 실패하는 지점을 결정합니다.
- 베이스 모델
- 베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
- 지식 컷오프
- 지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.