クロスエンコーダー
クロスエンコーダー(cross-encoder)とは、クエリと文書を 1 回の処理でまとめて読み、関連度のスコアを出力するモデルです。別々の埋め込みを比べるより正確ですが、コレクション全体に対して実行するには遅すぎます。
別名: bi-encoder, cross encoder
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
この用語が最も重要になるのは、検索で transformer を使う 2 つの方法のどちらかを選ぶときです。
バイエンコーダーとクロスエンコーダーの違い
バイエンコーダーは、クエリと各文書を別々に埋め込みに変換します。文書のベクトルは一度計算すればベクトルデータベースに保存でき、検索はベクトルどうしの素早い比較で済みます。ベクトル検索はこの仕組みで動いています。
クロスエンコーダーは、クエリと文書を 1 つの入力としてモデルに入れるので、クエリのすべての単語が文書のすべての単語にアテンションできます。出力されるのはスコアで、再利用できるベクトルではありません。何も事前に計算できないため、100 万件の文書を採点するにはモデルを 100 万回呼び出す必要があります。
Sentence-BERT の論文はこれを数字で示しています。10,000 文の中から最も似たペアを見つけるのに、BERT のクロスエンコーダーでは約 65 時間かかったのに対し、同論文のバイエンコーダーでは約 5 秒でした。
どう組み合わせるか
一般的なパターンは retrieve and rerank(検索してから再順位付 け)です。バイエンコーダーか BM25 が数十件の候補を見つけ、クロスエンコーダーがそれらを採点し直します。mxbai-rerank v2 を含め、ほとんどのリランキングモデルが行っているのはこれです。
中間の手法
ColBERT のようなレイトインタラクションモデルは、クエリと文書を別々にエンコードしますが、テキストごとに多くのベクトルを保持し、最後の安価な手順でそれらを比べます。コストと正確さの点で、2 つの方法の中間に位置します。
関連用語
- リランキング
- リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。
- レイトインタラクション(ColBERT)
- レイトインタラクシ ョン(late interaction)とは、ColBERT が導入した検索の手法です。クエリと各文書を別々に、トークンごとに 1 つのベクトルへエンコードし、最後の安価な手順でそのトークンのベクトルを比べて一致度を採点します。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- ベクトル検索
- ベクトル検索(vector search)とは、項目の埋め込みをクエリの埋め込みと比較し、最も近いものを返すことで項目を見つける方法です。共通のキーワードではなく意味で一致する結果が得られます。
- ハイブリッド検索
- ハイブリッド検索(hybrid search)とは、同じクエリに対してキーワード検索とベクトル検索を実行し、2 つの順位付きリストを統合する検索です。正確な単語での一致と、意味での一致の両方を結果に反映できます。