BM25
BM25 はキーワード検索のための順位付けの式です。クエリの単語が各文書にどれだけ出てくるかで文書を採点し、珍しい単語には大きな重みを与え、長い文書や繰り返される語の評価は抑えます。
別名: Okapi BM25, keyword search, lexical search
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
BM25 は、Elasticsearch、OpenSearch、Lucene などの検索エンジンで標準的に使われているキーワードの順位付け手法です。Okapi の情報検索研究から生まれ、ニューラルな検索手法と比べても今なお強力なベースラインです。
採点の仕組み
BM25 はクエリの単語ごとに 3 つのことを見ます。単語の出現頻度:文書内で多く出てくる単語ほど評価が上がりますが、効果は逓減し、出現が 1 回増えるごとの上乗せは小さくなります。逆文書頻度:「pgvector」のような珍しい単語は、「the」のようなありふれた単語よりはるかに重く数えられます。文書の長さ:長い文書は偶然多くの単語を含むため、少しだけ減点されます。通常 k1 と b と呼ばれる 2 つのパラメーターが、1 つ目と 3 つ目の効果を調整します。
これは bag-of-words の手法で、語順と意味は無視されます。
AI にとって今も重要な理由
BM25 にはモデルも GPU も埋め込みの手順も必要なく、製品コード、名前、エラーメッセージをうまく扱えます。BEIR ベンチマークでは、BM25 が多くの検索タスクで頑健なベースラインであることがわかりました。そのため、ほとんどのハイブリッド検索の構成では BM25 をベクトル検索と組み合わせています。
限界
BM25 は同義語や言い換えに対応できません。「car」で検索しても「automobile」は見つかりません。SPLADE のような学習済みのスパース検索モデルは、同じインデックス構造を保ちながら関連語を加えることで、この弱点を補います。
関連用語
- ハイブリッド検索
- ハイブリッド検索(hybrid search)とは、同じクエリに対してキーワード検索とベクトル検索を実行し、2 つの順位付きリストを統合する検索です。正確な単語での一致と、意味での一致の両方を結果に反映できます。
- スパース検索
- スパース検索(sparse retrieval)とは、クエリと文書を、語彙にわたるベクトルとして表す方法です。ほとんどの要素はゼロで、ゼロでない各要素は単語の重みであるため、キーワード検索と同じ高速な転置インデックスを検索に使えます。
- ベクトル検索
- ベクトル検索(vector search)とは、項目の埋め込みをクエリの埋め込みと比較し、最も近いものを返すことで項目を見つける方法です。共通のキーワードではなく意味で一致する結果が得られます。
- リランキング
- リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。
- 検索の指標(recall@k、nDCG、MRR)
- 検索の指標とは、検索システムが関連する文書をどれだけうまく返すかを評価するものです。recall@kは上位k件に関連項目がいくつ含まれるかを確認し、nDCGはそれらを上位に並べることを評価し、MRRは最初の正解がどれだけ早く現れるかを測ります。