保存と検索
埋め込み、ベクトル検索など、モデルが正しい事実を見つけるための仕組みです。
- BM25
- BM25 はキーワード検索のための順位付けの式です。クエリの単語が各文書にどれだけ出てくるかで文書を採点し、珍しい 単語には大きな重みを与え、長い文書や繰り返される語の評価は抑えます。
- GraphRAG
- GraphRAG は、LLM がまず文書のコレクションからナレッジグラフを作り、関連するエンティティのグループごとに要約を書いたうえで、その要約とグラフのつながりを使って質問に答える検索の手法です。
- HNSW
- HNSW(hierarchical navigable small world)は、近似最近傍探索のためのグラフベースのインデックスです。複数の層にわたってベクトルを近傍とつなぐので、検索は最も近い一致に向かって素早く移動できます。
- Matryoshka embeddings(マトリョーシカ埋め込み)
- Matryoshka embeddings(マトリョーシカ埋め込み)とは、先頭の値ほど多くの情報を持つように学習されたベクトルです。短い長さに切り詰めても有用な検索結果が得られるため、ストレージを節約し、検索を高速化できます。
- エージェント型 RAG
- エージェント型 RAG(agentic RAG)とは、AI エージェントが実行する検索拡張生成です。エージェントはいつ検索するか、何を検索するか、どの情報源を使うかを決め、最初の結果が不十分なら検索し直せます。
- クエリ書き換え
- クエリ書き換え(query rewriting)とは、検索の前にユーザーの質問を明確にする、分割する、関連語を加えるなどして変更し、リトリーバーがその答えとなる文章を見つけやすくすることです。
- クロスエンコーダー
- クロスエンコーダー(cross-encoder)とは、クエリと文書を 1 回の処理でまとめて読み、関連度のスコアを出力するモデルです。別々の埋め込みを比べるより正確ですが、コレクション全体に対して実行するには遅すぎます。
- コサイン類似度
- コサイン類似度(cosine similarity)とは、2 つのベクトルがどれだけ似ているかを、その間の角度で測る指標です。値は -1 から 1 の範囲で、ベクトルの長さは無視されます。検索で埋め込みを比べる最も一般的な方法です。
- スパース検索
- スパース検索(sparse retrieval)とは、クエリと文書を、語彙にわたるベクトルとして表す方法です。ほとんどの要素はゼロで、ゼロでない各要素は単語の重みであるため、キーワード検索と同じ高速な転置インデックスを検索に使えます。
- ナレッジグラフ
- ナレッジグラフ(knowledge graph)とは、人、製品、場所、概念などのエンティティを名前の付いた関係で結んで情報を保存するものです。ソフトウェアは、ばらばらのテキストを検索する代わりに、事実の間のつながりをたどれます。
- ナレッジベース(AI)
- AI アプリにおけるナレッジベース(knowledge base)とは、ヘルプ記事、規程、製品ドキュメントなど、アシスタントやエージェントが質問に答えるために検索する文書とデータの集まりです。モデルそのものとは別に管理されます。
- ハイブリッド検索
- ハイブリッド検索(hybrid search)とは、同じクエ リに対してキーワード検索とベクトル検索を実行し、2 つの順位付きリストを統合する検索です。正確な単語での一致と、意味での一致の両方を結果に反映できます。
- ベクトルデータベース
- ベクトルデータベース(vector database)とは、埋め込みを元のレコードとともに保存し、クエリのベクトルに最も近い保存済みのベクトルを見つけるデータベースです。数百万の項目にわたって検索を高速に保つため、通常は近似インデックスを使います。
- ベクトル検索
- ベクトル検索(vector search)とは、項目の埋め込みをクエリの埋め込みと比較し、最も近いものを返すことで項目を見つける方法です。共通のキーワードではなく意味で一致する結果が得られます。
- メタデータフィルタリング
- メタデータフィルタリングとは、日付、作成者、言語、アクセスグループなど保存された属性が指定条件に一致する項目だけに検索を絞り込むことです。ベクトルの類似度で順位付けするのと同時に、またはその前に行います。
- リランキング
- リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。
- レイトインタラクション(ColBERT)
- レイトインタラクション(late interaction)とは、ColBERT が導入した検索の手法です。クエリと各文書を別々に、トークンごとに 1 つのベクトルへエンコードし、最後の安価な手順でそのトークンのベクトルを比べて一致度を採点します。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- 埋め込みの次元数
- 埋め込みの次元数(embedding dimension)とは、埋め込みモデルが出力する各ベクトルに含まれる値の数です。次元が多いほど多くの細部を保持できますが、値が 1 つ増 えるごとに、1 件あたりの保存、メモリ、検索のコストが増えます。
- 検索の指標(recall@k、nDCG、MRR)
- 検索の指標とは、検索システムが関連する文書をどれだけうまく返すかを評価するものです。recall@kは上位k件に関連項目がいくつ含まれるかを確認し、nDCGはそれらを上位に並べることを評価し、MRRは最初の正解がどれだけ早く現れるかを測ります。
- 検索拡張生成(RAG)
- 検索拡張生成(retrieval-augmented generation、RAG)とは、システムがまず文書の集まりから質問に関連する文章を検索し、その文章を言語モデルに渡して、それに基づいて回答させるパターンです。
- 近似最近傍探索
- 近似最近傍探索(approximate nearest neighbor、ANN)とは、保存したすべてのベクトルを調べることなく、クエリに近いベクトルを見つける探索です。厳密に最良の一致を保証しない代わりに、大規模なコレクションではるかに速く検索できます。