Embeddings Matryoshka
Les embeddings Matryoshka sont des vecteurs entraînés pour que leurs premières valeurs portent le plus d'information. Vous pouvez les tronquer à une longueur plus courte et obtenir encore des résultats de recherche utiles, ce qui économise du stockage et accélère la recherche.
Aussi appelé : Matryoshka representation learning, MRL
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Le nom vient des poupées russes gigognes : un embedding plus petit et utilisable se trouve à l'intérieur du plus grand. La méthode, Matryoshka Representation Learning, a été publiée en 2022 et est désormais utilisée dans plusieurs modèles d'embedding commerciaux et ouverts.
Comment ça marche
Pendant l'entraînement, la perte du modèle est calculée non seulement sur le vecteur complet, mais aussi sur plusieurs tranches initiales plus courtes. Cela oblige le modèle à concentrer le sens général dans les premières valeurs et les détails plus fins dans les suivantes. À l'inférence, rien ne change ; vous gardez simplement autant de valeurs que vous le souhaitez.
Pourquoi c'est important
La dimension de l'embedding détermine le coût de stockage et de recherche dans une base de données vectorielle. Avec un modèle Matryoshka, vous pouvez stocker des vecteurs courts pour économiser, ou lancer une première recherche rapide sur des vecteurs courts puis réévaluer les meilleurs résultats avec les vecteurs complets. OpenAI expose cette possibilité via un paramètre `dimensions` sur ses modèles text-embedding-3, qui supprime des valeurs à la fin.
Limites
Les vecteurs plus courts perdent un peu de qualité, et la perte dépend du modèle et de vos données. La troncature ne fonctionne que sur les modèles entraînés de cette façon ; tronquer un embedding ordinaire le dégrade fortement. Après troncature, renormalisez les vecteurs si vous calculez la similarité cosinus par produit scalaire. Vérifiez les résultats avec des métriques de recherche à chaque longueur avant de choisir.
Termes liés
- Dimension d'embedding
- La dimension d'embedding est le nombre de valeurs de chaque vecteur produit par un modèle d'embedding. Davantage de dimensions peuvent contenir plus de détails, mais chaque valeur supplémentaire ajoute du coût de stockage, de mémoire et de recherche par élément.
- Embedding
- Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.
- Base de données vectorielle
- Une base de données vectorielle (vector database) stocke des embeddings avec leurs enregistrements source et retrouve les vecteurs stockés les plus proches d'un vecteur de requête, généralement à l'aide d'un index approximatif pour que la recherche reste rapide sur des millions d'éléments.
- Similarité cosinus
- La similarité cosinus (cosine similarity) mesure la ressemblance entre deux vecteurs par l'angle qu'ils forment. Elle va de -1 à 1, ignore la longueur des vecteurs et constitue la façon la plus courante de comparer des embeddings en recherche.
- Métriques de recherche (recall@k, nDCG, MRR)
- Les métriques de recherche (retrieval metrics) mesurent la capacité d'un système de recherche à renvoyer des documents pertinents. Recall@k vérifie combien d'éléments pertinents figurent dans les k premiers, nDCG récompense un classement élevé de ces éléments, et MRR mesure à quel rang apparaît le premier résultat correct.