청킹
청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.
다른 이름: document chunking, chunk size, chunk overlap, semantic chunking
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
언어 모델은 문서 라이브러리 전체를 한 번에 읽을 수 없고, 200페이지짜리 PDF의 임베딩은 어느 한 페이지에 대해서도 알려 주는 것이 거의 없습니다. 청킹은 원본을 임베딩하고, 검색하고, 프롬프트에 붙여 넣을 수 있을 만큼 작은 구절로 자릅니다. 검색 증강 생성 파이프라인의 첫 번째 설계 선택이며, 여기서 잘못 고르면 그 뒤의 모든 단계가 제약을 받습니다.
작동 방식
가장 단순한 방법은 고정 크기를 씁니다. N개의 단어, 문자, 토큰마다 자르는 것입니다. 최초의 RAG 논문은 각 Wikipedia 문서를 100단어 청크로 나누었습니다. 대부분의 분할기는 청크 겹침(chunk overlap)을 더해, 경계마다 몇 문장을 반복함으로써 두 청크에 걸친 내용이 사라지지 않게 합니다. 재귀 분할기는 먼저 자연스러운 경계(섹션, 그다음 문단, 그다음 문장)를 시도하고, 조각이 여전히 너무 길 때만 더 작은 단위로 내려갑니다. 구조 인식 청킹은 문서 파싱 중에 찾은 제목과 표를 이용합니다.
시맨틱 청킹
시맨틱 청킹(semantic chunking)은 길이 대신 의미에 따라 경계를 둡니다. 각 문장을 임베딩하고 이웃한 문장 사이의 유사도가 떨어지는 곳에서 새 청크를 시작하므로, 각 청크는 한 주제에 관한 문장을 담습니다. 문장마다 임베딩 호출 비용이 들고, 경계 임계값은 말뭉치마다 조정해야 합니다.
장단점
작은 청크는 질의와 정확하게 맞지만 맥락을 잃습니다. 큰 청크는 맥락을 유지하지만 임베딩을 희석하고 컨텍스트 윈도를 더 많이 씁니다. 모든 경우에 맞는 최적 크기는 없으므로, 실제 질문으로 몇 가지 설정을 시험해 보십시오. 청킹 단계 가이드에서 도구를 비교합니다.
관련 용어
- 검색 증강 생성(Retrieval-augmented generation)
- 검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
- 문서 파싱
- 문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
- 벡터 데이터베이스(Vector database)
- 벡터 데이터베이스(vector database)는 임베딩을 원본 레코드와 함께 저장하고, 쿼리 벡터에 가장 가까운 저장된 벡터를 찾습니다. 보통 근사 인덱스를 써서 수백만 개 항목에서도 검색이 빠르게 유지됩니다.
- 컨텍스트 윈도
- 컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
- 리랭킹(Reranking)
- 리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.