본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

청킹

청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.

다른 이름: document chunking, chunk size, chunk overlap, semantic chunking

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

언어 모델은 문서 라이브러리 전체를 한 번에 읽을 수 없고, 200페이지짜리 PDF의 임베딩은 어느 한 페이지에 대해서도 알려 주는 것이 거의 없습니다. 청킹은 원본을 임베딩하고, 검색하고, 프롬프트에 붙여 넣을 수 있을 만큼 작은 구절로 자릅니다. 검색 증강 생성 파이프라인의 첫 번째 설계 선택이며, 여기서 잘못 고르면 그 뒤의 모든 단계가 제약을 받습니다.

작동 방식

가장 단순한 방법은 고정 크기를 씁니다. N개의 단어, 문자, 토큰마다 자르는 것입니다. 최초의 RAG 논문은 각 Wikipedia 문서를 100단어 청크로 나누었습니다. 대부분의 분할기는 청크 겹침(chunk overlap)을 더해, 경계마다 몇 문장을 반복함으로써 두 청크에 걸친 내용이 사라지지 않게 합니다. 재귀 분할기는 먼저 자연스러운 경계(섹션, 그다음 문단, 그다음 문장)를 시도하고, 조각이 여전히 너무 길 때만 더 작은 단위로 내려갑니다. 구조 인식 청킹은 문서 파싱 중에 찾은 제목과 표를 이용합니다.

시맨틱 청킹

시맨틱 청킹(semantic chunking)은 길이 대신 의미에 따라 경계를 둡니다. 각 문장을 임베딩하고 이웃한 문장 사이의 유사도가 떨어지는 곳에서 새 청크를 시작하므로, 각 청크는 한 주제에 관한 문장을 담습니다. 문장마다 임베딩 호출 비용이 들고, 경계 임계값은 말뭉치마다 조정해야 합니다.

장단점

작은 청크는 질의와 정확하게 맞지만 맥락을 잃습니다. 큰 청크는 맥락을 유지하지만 임베딩을 희석하고 컨텍스트 윈도를 더 많이 씁니다. 모든 경우에 맞는 최적 크기는 없으므로, 실제 질문으로 몇 가지 설정을 시험해 보십시오. 청킹 단계 가이드에서 도구를 비교합니다.

관련 용어

검색 증강 생성(Retrieval-augmented generation)
검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
문서 파싱
문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
임베딩
임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
벡터 데이터베이스(Vector database)
벡터 데이터베이스(vector database)는 임베딩을 원본 레코드와 함께 저장하고, 쿼리 벡터에 가장 가까운 저장된 벡터를 찾습니다. 보통 근사 인덱스를 써서 수백만 개 항목에서도 검색이 빠르게 유지됩니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
리랭킹(Reranking)
리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.

출처