크로스 인코더
크로스 인코더(cross-encoder)는 질의와 문서를 한 번에 함께 읽고 관련성 점수를 내는 모델입니다. 따로 만든 임베딩을 비교하는 것보다 정확하지만, 컬렉션 전체에 실행하기에는 너무 느립니다.
다른 이름: bi-encoder, cross encoder
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
이 용어는 검 색에 트랜스포머를 쓰는 두 가지 방식 중 하나를 고를 때 가장 중요합니다.
바이 인코더와 크로스 인코더
바이 인코더(bi-encoder)는 질의와 각 문서를 따로 임베딩으로 인코딩합니다. 문서 벡터는 한 번 계산해 벡터 데이터베이스에 저장할 수 있고, 검색은 빠른 벡터 비교입니다. 벡터 검색이 이렇게 동작합니다.
크로스 인코더는 질의와 문서를 하나의 입력으로 모델에 넣으므로, 질의의 모든 단어가 문서의 모든 단어에 어텐션할 수 있습니다. 재사용할 수 있는 벡터가 아니라 점수를 냅니다. 미리 계산할 수 있는 것이 없으므로, 문서 100만 개에 점수를 매기려면 모델을 100만 번 호출해야 합니다.
Sentence-BERT 논문은 이를 숫자로 보여 줍니다. 문장 10,000개 가운데 가장 비슷한 쌍을 찾는 데 BERT 크로스 인코더로는 약 65시간이 걸렸고, 이 논문의 바이 인코더로는 약 5초가 걸렸습니다.
조합 방식
흔한 패턴은 검색 후 재순위화(retrieve and rerank)입니다. 바이 인코더나 BM25가 후보 수십 개를 찾고, 크로스 인코더가 점수를 다시 매깁니다. mxbai-rerank v2를 포함한 대부분의 리랭킹 모델이 하는 일이 이것입니다.
중간 지점
ColBERT 같은 지연 상호작용 모델은 질의와 문서를 따로 인코딩하지만 텍스트마다 여러 벡터를 유지하고 저렴한 마지막 단계에서 비교하므로, 비용과 정확도 면에서 두 방식 사이에 놓입니다.
관련 용어
- 리랭킹(Reranking)
- 리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
- 지연 상호작용(ColBERT)
- 지연 상호작용(late interaction)은 ColBERT가 소개한 검색 방법으로, 질의와 각 문서를 따로 토큰마다 벡터 하나씩으로 인코딩한 뒤, 저렴한 마지막 단계에서 그 토큰 벡터들을 비교해 일치 점수를 매깁니다.
- 임베딩
- 임베딩(embedding)은 텍스트, 이미지, 기타 데이터를 나타내는 숫자 목록(벡터)으로, 의미가 비슷한 항목끼리 가까운 벡터를 갖도록 만들어집니다.
- 벡터 검색(Vector search)
- 벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
- 하이브리드 검색
- 하이브리드 검색(hybrid search)은 같은 질의로 키워드 검색과 벡터 검색을 함께 실행하고 두 순위 목록을 합쳐, 결과가 정확한 단어와 의미 모두로 일치할 수 있게 합니다.