AI 학습 데이터
AI 학습 데이터(AI training data)는 웹 텍스트, 코드, 이미지, 녹취록, 레이블이 붙은 쌍처럼 모델이 학습하는 예시의 모음입니다. 그 규모, 품질, 구성, 라이선스가 모델이 할 수 있는 일과 실패하는 지점을 결정합니다.
다른 이름: training set, dataset
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
모든 모델은 자신의 데이터를 반영합니다. 대규모 언어 모델은 매우 큰 텍스트와 코드 말뭉치로 사전 학습된 뒤, 훨씬 작은 지시, 시연, 선호 쌍 데이터로 미세 조정됩니다. 이미지 모델은 캡션이 붙은 이미지로 학습합니다. 데이터의 빈틈이나 편향은 모델의 빈틈이나 편향으로 나타나며, 지식 컷오프 이전 데이터에 없는 것은 모델이 알지 못합니다.
학습 데이터의 종류
사전 학습 데이터는 대부분 웹 크롤링 등으로 대규모로 모은 뒤 걸러 내고, 중복을 없애고, 섞습니다. 미세 조정 데이터는 더 작고 선별되어 있으며, 사람이 쓰거나 순위를 매긴 경우가 많습니다. 다른 모델이 생성한 합성 데이터는 이제 두 경우 모두에서 흔합니다. 골든 데이터셋 같은 평가 세트는 학습 데이터와 분리해 두어야 합니다. 그렇지 않으면 벤치마크 오염으로 점수가 의미를 잃습니다.
문서화와 권리
Gebru 등의 "Datasheets for Datasets"는 모든 데이터셋에 그 동기, 구성, 수집 과정, 권장 용도를 설명하는 데이터시트를 붙이자고 제안합니다. 모델 카드는 모델이 학습한 데이터를 요약하는 경우가 많습니다. 저작권, 동의, 라이선스, 개인 정보는 여러 곳에서 현재 진행 중인 법적 문제이며, EU AI Act 같은 규칙은 문서화 의무를 더합니다. 이 페이지는 법률 자문을 제공하지 않습니다.
개발자를 위해
미세 조정을 한다면, 깨끗하고 대표성 있는 예시 수천 개가 대개 크고 잡음이 많은 데이터셋보다 낫습니다. 이 사이트의 AI 학습 데이터 디렉터리에 데이터셋 출처와 업체가 정리되어 있습니다.
관련 용어
- 합성 데이터(Synthetic data)
- 합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.
- 사전 학습(Pretraining)
- 사전 학습(pretraining)은 모델 학습의 첫 단계이자 가장 큰 단계로, 작업별 튜닝에 앞서 레이블이 없는 매우 큰 데이터셋에서 보통 다음 토큰을 예측하는 방식으로 일반적인 패턴을 익힙니다.
- 파인튜닝(미세 조정)
- 파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
- AI용 웹 크롤링(Web crawling for AI)
- AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
- 모델 카드(Model card)
- 모델 카드(model card)는 머신러닝 모델과 함께 공개되는 짧은 문서로, 모델의 용도, 학습 및 평가 방식, 성능이 떨어지는 영역, 그리고 써야 할 방식과 쓰지 말아야 할 방식을 설명합니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.