데이터 준비
문서, 웹 페이지, 파일을 AI 시스템이 쓸 수 있는 형태로 바꾸는 과정입니다.
- AI 크롤러
- AI 크롤러(AI crawler)는 AI 회사가 운영하는 자동화된 봇으로, 학습 데이터를 모으거나, AI 검색 색인을 만들거나, 사용자가 어시스턴트에게 어떤 페이지에 대해 물을 때 그 페이지를 실시간으로 가져오기 위해 웹 페이지를 수집합니다.
- AI용 웹 크롤링(Web crawling for AI)
- AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
- llms.txt
- llms.txt는 웹사이트가 보통 /llms.txt 경로에 Markdown 파일을 게시해, 사이트를 요약하고 가장 유용한 페이지로 가는 링크를 언어 모델이 읽기 쉬운 형태로 제공하자는 제안된 관례입니다.
- 광학 문자 인식(OCR)
- 광학 문자 인식(optical character recognition, OCR)은 스캔한 페이지, 사진, 스크린샷 같은 이미지에서 텍스트를 읽어, 검색하거나 복사하거나 모델에 넣을 수 있는 기계 판독 문자로 바꾸는 소프트웨어입니다.
- 레이아웃 분석
- 레이아웃 분석(layout analysis)은 문서 파싱의 한 부분으로, 페이지에서 제목, 문단, 표, 그림, 캡션, 바닥글 같은 영역을 찾아 각각에 레이블을 붙이고, 사람이 읽는 순서를 알아냅니다.
- 문서 파싱
- 문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
- 청킹
- 청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.
- 표 추출(Table extraction)
- 표 추출(table extraction)은 문서에서 표를 찾아 그 행, 열, 머리글, 셀을 흩어진 텍스트 줄이 아니라 HTML, Markdown, CSV 같은 구조화된 데이터로 다시 만드는 작업입니다.