Matryoshka embeddings(マトリョーシカ埋め込み)
Matryoshka embeddings(マトリョーシカ埋め込み)とは、先頭の値ほど多くの情報を持つように学習されたベクトルです。短い長さに切り詰めても有用な検索結果が得られるため、ストレージを節約し、検索を高速化できます。
別名: Matryoshka representation learning, MRL
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
名前はロシアの入れ子人形に由来します。大きな埋め込みの中に、それより小さくても使える埋め込みが入っているからです。この手法、Matryoshka Representation Learningは2022年に発表され、現在では商用とオープンの複数の埋め込みモデルで使われています。
仕組み
学習中、モデルの損失は完全なベクトルだけでなく、その先頭部分を切り出したいくつかの短いベクトルでも計算されます。これによりモデルは、大まかな意味を前の方の値に、細かな情報を後ろの方の値に詰め込むようになります。推論時には何も変わらず、必要な数の値を残すだけです。
なぜ重要か
ベクトルデータベースでは、埋め込みの次元数がストレージと検索のコストを左右します。Matryoshkaモデルなら、短いベクトルを保存して費用を抑えることも、短いベクトルで高速な一次検索を行い、上位の結果を完全な長さのベクトルで再スコアリングすることもできます。OpenAIはtext-embedding-3モデルの`dimensions`パラメータでこれを 提供しており、末尾から値を削ります。
限界
短いベクトルでは品質が多少下がり、その程度はモデルとデータによって異なります。切り詰めが機能するのはこの方法で学習したモデルだけで、通常の埋め込みを切ると大きく劣化します。切り詰めた後、内積でコサイン類似度を計算する場合はベクトルを再正規化してください。長さを選ぶ前に、それぞれの長さで検索の指標を使って結果を確認してください。
関連用語
- 埋め込みの次元数
- 埋め込みの次元数(embedding dimension)とは、埋め込みモデルが出力する各ベクトルに含まれる値の数です。次元が多いほど多くの細部を保持できますが、値が 1 つ増えるごとに、1 件あたりの保存、メモリ、検索のコストが増えます。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- ベクトルデータベース
- ベクトルデータベース(vector database)とは、埋め込みを元のレコードとともに保存し、クエリのベクトルに最も近い保存済みのベクトルを見つけるデータベースです。数百万の項目にわたって検索を高速に保つため、通常は近似インデックスを使います。
- コサイン類似度
- コサイン類似度(cosine similarity)とは、2 つのベクトルがどれだけ似ているかを、その間の角度で測る指標です。値は -1 から 1 の範囲で、ベクトルの長さは無視されます。検索で埋め込みを比べる最も一般的な方法です。
- 検索の指標(recall@k、nDCG、MRR)
- 検索の指標とは、検索システムが関連する文書をどれだけうまく返すかを評価するものです。recall@kは上位k件に関連項目がいくつ含まれるかを確認し、nDCGはそれらを上位に並べることを評価し、MRRは最初の正解がどれだけ早く現れるかを測ります。