파운데이션 모델
파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
이 용어는 2021년 Stanford 연구자들이 이런 모델의 기회와 위험 을 다룬 긴 보고서에서 만들었습니다. 이들은 BERT, DALL-E, GPT-3 같은 예를 들었고, 많은 애플리케이션이 하나의 기반 위에 만들어진다는 점을 강조하려고 "foundation"(기반)이라는 단어를 골랐습니다.
왜 중요한가
오늘날 대부분의 AI 제품은 자체 모델을 학습시키지 않습니다. 파운데이션 모델에서 시작해 프롬프트를 쓰거나, 검색을 더하거나, 자신의 데이터로 미세 조정해 조정합니다. 비용이 큰 사전 학습 한 번이 수천 가지 용도에 쓰일 수 있습니다.
파운데이션 모델과 LLM
대규모 언어 모델은 파운데이션 모델의 한 종류입니다. 이 용어는 더 넓습니다. 이미지, 오디오, 영상, 멀티모달 모델도 폭넓게 학습한 뒤 조정해 쓰인다면 파운데이션 모델이 될 수 있습니다.
한계
Stanford 저자들은 동질화를 경고합니다. 매우 많은 시스템이 같은 기반을 공유하므로, 파운데이션 모델의 결함이나 편향은 그로부터 조정된 모든 것에 물려집니다. 이 용어는 정해진 크기나 구조가 아니라 모델이 쓰이는 방식을 가리키므로, 회사마다 붙이는 이름이 다릅니다.
관련 용어
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
- 베이스 모델
- 베이스 모델(base model)은 지시 튜닝이나 인간 피드백 학습을 거치기 전, 사전 학습을 막 마친 언어 모델입니다. 지시를 따르거나 대화를 이어 가기보다 주어진 텍스트를 계속 이어 씁니다.
- 멀티모달 모델(Multimodal model)
- 멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
- 프런티어 모델
- 프런티어 모델(frontier model)은 특정 시점에 이용할 수 있는 가장 유능한 범용 AI 모델 가운데 하나로, 보통 자금이 풍부한 연구소에서 나옵니다. 상대적인 용어이며 AI 안전 정책에도 등장합니다.