저장과 검색
임베딩, 벡터 검색 등 모델이 올바른 사실을 찾도록 돕는 구성 요소입니다.
- BM25
- BM25는 키워드 검색을 위한 순위 공식입니다. 질의의 단어가 문서에 얼마나 자주 나오는지로 각 문서에 점수를 매기며, 드문 단어에 더 큰 가중치를 주고 긴 문서와 반복된 단어에는 점수를 덜 줍니다.
- GraphRAG
- GraphRAG는 LLM이 먼저 문서 컬렉션에서 지식 그래프를 만들고 관련된 개체 묶음의 요약을 쓴 뒤, 그 요약과 그래프 연결을 이용해 질문에 답하는 검색 방식입니다.
- HNSW
- HNSW(hierarchical navigable small world)는 근사 최근접 이웃 검색을 위한 그래프 기반 인덱스입니다. 벡터를 여러 층에 걸쳐 이웃과 연결해, 검색이 가장 가까운 결과 쪽으로 빠르게 건너뛸 수 있게 합니다.
- Matryoshka 임베딩
- Matryoshka 임베딩(Matryoshka embeddings)은 앞쪽 값에 가장 많은 정보가 담기도록 학습된 벡터입니다. 더 짧은 길이로 잘라도 쓸 만한 검색 결과를 얻을 수 있어 저장 공간을 아끼고 검색 속도를 높입니다.
- 검색 증강 생성(Retrieval-augmented generation)
- 검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
- 검색 지표(recall@k, nDCG, MRR)
- 검색 지표(retrieval metrics)는 검색 시스템이 관련 문서를 얼마나 잘 반환하는지 점수로 나타냅니다. Recall@k는 상위 k개에 관련 항목이 얼마나 들어 있는지, nDCG는 관련 항목을 높은 순위에 올렸는지, MRR은 첫 번째 정답이 얼마나 일찍 나오는지를 봅니다.
- 근사 최근접 이웃 검색
- 근사 최근접 이웃(ANN, approximate nearest neighbor) 검색은 저장된 모든 벡터를 확인하지 않고 질의와 가까운 벡터를 찾는 방법입니다. 정확한 최적의 결과라는 보장을 포기하는 대신, 대규모 컬렉션에서 훨씬 빠르게 검색합니다.
- 리랭킹(Reranking)
- 리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
- 메타데이터 필터링(Metadata filtering)
- 메타데이터 필터링(metadata filtering)은 날짜, 작성자, 언어, 접근 그룹 같은 저장된 속성이 주어진 조건에 맞는 항목으로 검색을 제한하는 것으로, 벡터 유사도 순 위 매기기와 함께 또는 그 전에 적용합니다.
- 벡터 검색(Vector search)
- 벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
- 벡터 데이터베이스(Vector database)
- 벡터 데이터베이스(vector database)는 임베딩을 원본 레코드와 함께 저장하고, 쿼리 벡터에 가장 가까운 저장된 벡터를 찾습니다. 보통 근사 인덱스를 써서 수백만 개 항목에서도 검색이 빠르게 유지됩니다.
- 에이전틱 RAG
- 에이전틱 RAG(agentic RAG)는 AI 에이전트가 실행하는 검색 증강 생성입니다. 에이전트가 언제 검색할지, 무엇을 검색할지, 어떤 출처를 쓸지 정하고, 처음 결과가 부족하면 다시 검색할 수 있습니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
- 임베딩 차원
- 임베딩 차원(embedding dimension)은 임베딩 모델이 출력하는 각 벡터의 값 개수입니다. 차원이 많을수록 더 많은 세부 정보를 담을 수 있지만, 값이 하나 늘 때마다 항목당 저장, 메모리, 검색 비용이 늡니다.
- 지식 그래프
- 지식 그래프(knowledge graph)는 정보를 이름 붙은 관계로 연결된 개체(사람, 제품, 장소, 개념)로 저장해, 소프트웨어가 느슨한 텍스트를 뒤지는 대신 사실 사이의 연결을 따라갈 수 있게 합니다.
- 지식 베이스(AI)
- AI 앱에서 지식 베이스(knowledge base)는 어시스턴트나 에이전트가 질문에 답하려고 검색하는 문서와 데이터의 모음으로, 도움말 문서, 정책, 제품 문서 등이 있으며 모델 자체와는 따로 관리됩니다.
- 지연 상호작용(ColBERT)
- 지연 상호작용(late interaction)은 ColBERT가 소개한 검색 방법으로, 질의와 각 문서를 따로 토큰마다 벡터 하나씩으로 인코딩한 뒤, 저렴한 마지막 단계에서 그 토큰 벡터들을 비교해 일치 점수를 매깁니다.
- 코사인 유사도
- 코사인 유사도(cosine similarity)는 두 벡터 사이의 각도로 둘이 얼마나 비슷한지 재는 값입니다. -1부터 1까지의 범위를 가지며, 벡터의 길이는 무시하고, 검색에서 임베딩을 비교하는 가장 흔한 방법입니다.
- 쿼리 재작성(Query rewriting)
- 쿼리 재작성(query rewriting)은 검색 전에 사용자의 질문을 명확히 하거나, 나누거나, 관련 용어를 더하는 식으로 바꿔, 검색기가 답을 담은 구절을 찾을 가능성을 높이는 것입니다.
- 크로스 인코더
- 크로스 인코더(cross-encoder)는 질의와 문서를 한 번에 함께 읽고 관련성 점수를 내는 모델입니다. 따로 만든 임베딩을 비교하는 것보다 정확하지만, 컬렉션 전체에 실행하기에는 너무 느립니다.
- 하이브리드 검색
- 하이브리드 검색(hybrid search)은 같은 질의로 키워드 검색과 벡터 검색을 함께 실행하고 두 순위 목록을 합쳐, 결과가 정확한 단어와 의미 모두로 일치할 수 있게 합니다.
- 희소 검색(Sparse retrieval)
- 희소 검색(sparse retrieval)은 쿼리와 문서를 어휘 전체에 걸친 벡터로 표현하되, 대부분의 항목이 0이고 0이 아닌 항목은 각각 단어 가중치인 방식입니다. 그래서 키워드 검색처럼 빠른 역색인을 쓸 수 있습니다.