Stockage et recherche
Embeddings, recherche vectorielle et les autres briques qui permettent à un modèle de trouver les bons faits.
- Base de connaissances (IA)
- Dans les applications d'IA, une base de connaissances (knowledge base) est la collection de documents et de données dans laquelle un assistant ou un agent cherche pour répondre aux questions, comme des articles d'aide, des politiques internes ou de la documentation produit, conservée séparément du modèle lui-même.
- Base de données vectorielle
- Une base de données vectorielle (vector database) stocke des embeddings avec leurs enregistrements source et retrouve les vecteurs stockés les plus proches d'un vecteur de requête, généralement à l'aide d'un index approximatif pour que la recherche reste rapide sur des millions d'éléments.
- BM25
- BM25 est une formule de classement pour la recherche par mots-clés. Elle note chaque document selon la fréquence des mots de la requête qu'il contient, en accordant plus de poids aux mots rares et moins de crédit aux documents longs et aux termes répétés.
- Cross-encoder
- Un cross-encoder (encodeur croisé) est un modèle qui lit ensemble une requête et un document en une seule passe et renvoie un score de pertinence. Il est plus précis que la comparaison d'embeddings séparés, mais trop lent pour être appliqué à toute une collection.
- Dimension d'embedding
- La dimension d'embedding est le nombre de valeurs de chaque vecteur produit par un modèle d'embedding. Davantage de dimensions peuvent contenir plus de détails, mais chaque valeur supplémentaire ajoute du coût de stockage, de mémoire et de recherche par élément.
- Embedding
- Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.
- Embeddings Matryoshka
- Les embeddings Matryoshka sont des vecteurs entraînés pour que leurs premières valeurs portent le plus d'information. Vous pouvez les tronquer à une longueur plus courte et obtenir encore des résultats de recherche utiles, ce qui économise du stockage et accélère la recherche.
- Filtrage par métadonnées
- Le filtrage par métadonnées (metadata filtering) limite une recherche aux éléments dont les attributs stockés, comme la date, l'auteur, la langue ou le groupe d'accès, remplissent des conditions données, en complément ou en amont du classement par similarité vectorielle.
- Génération augmentée par récupération
- La génération augmentée par récupération (retrieval-augmented generation, RAG) est un schéma dans lequel un système cherche d'abord dans une collection de documents les passages pertinents pour une question, puis fournit ces passages à un modèle de langage pour que sa réponse s'appuie dessus.
- Graphe de connaissances
- Un graphe de connaissances (knowledge graph) stocke l'information sous forme d'entités (personnes, produits, lieux, concepts) reliées par des relations nommées, afin qu'un logiciel puisse suivre les liens entre les faits au lieu de chercher dans du texte libre.
- GraphRAG
- GraphRAG est une approche de récupération dans laquelle un LLM construit d'abord un graphe de connaissances à partir d'une collection de documents et rédige des résumés de groupes d'entités liées, puis répond aux questions à l'aide de ces résumés et des liens du graphe.
- HNSW
- HNSW (hierarchical navigable small world) est un index à base de graphe pour la recherche approximative des plus proches voisins. Il relie les vecteurs à leurs voisins sur plusieurs couches, afin qu'une recherche puisse progresser rapidement vers les correspondances les plus proches.
- Late interaction (ColBERT)
- La late interaction (interaction tardive) est une méthode de récupération, introduite par ColBERT, qui encode séparément la requête et chaque document en un vecteur par token, puis note une correspondance en comparant ces vecteurs de tokens lors d'une étape finale peu coûteuse.
- Métriques de recherche (recall@k, nDCG, MRR)
- Les métriques de recherche (retrieval metrics) mesurent la capacité d'un système de recherche à renvoyer des documents pertinents. Recall@k vérifie combien d'éléments pertinents figurent dans les k premiers, nDCG récompense un classement élevé de ces éléments, et MRR mesure à quel rang apparaît le premier résultat correct.
- RAG agentique
- Le RAG agentique (agentic RAG) est une génération augmentée par récupération pilotée par un agent IA, qui décide quand chercher, quoi chercher et quelle source utiliser, et qui peut chercher à nouveau si les premiers résultats ne suffisent pas.
- Recherche approximative des plus proches voisins
- La recherche approximative des plus proches voisins (ANN, approximate nearest neighbor) trouve des vecteurs proches d'une requête sans vérifier chaque vecteur stocké. Elle renonce à la garantie d'obtenir exactement la meilleure correspondance en échange d'une recherche bien plus rapide sur de grandes collections.
- Recherche hybride
- La recherche hybride (hybrid search) exécute une recherche par mots-clés et une recherche vectorielle sur la même requête et fusionne les deux listes classées, afin que les résultats puissent correspondre aux mots exacts comme au sens.
- Recherche parcimonieuse
- La recherche parcimonieuse (sparse retrieval) représente les requêtes et les documents sous forme de vecteurs sur un vocabulaire dont la plupart des entrées valent zéro et où chaque entrée non nulle est le poids d'un mot, si bien que la recherche peut utiliser des index inversés rapides comme la recherche par mots-clés.
- Recherche vectorielle
- La recherche vectorielle (vector search) trouve des éléments en comparant leurs embeddings à celui d'une requête et en renvoyant les plus proches, si bien que les résultats correspondent par le sens plutôt que par des mots-clés communs.
- Réécriture de requêtes
- La réécriture de requêtes (query rewriting) modifie la question d'un utilisateur avant la recherche, par exemple en la clarifiant, en la découpant ou en ajoutant des termes associés, pour que le système de recherche ait plus de chances de trouver les passages qui y répondent.
- Reranking
- Le reranking (reclassement) est une seconde étape de recherche qui prend une courte liste de documents candidats et les réordonne selon leur pertinence pour la requête, à l'aide d'un modèle plus précis mais plus lent que la première recherche.
- Similarité cosinus
- La similarité cosinus (cosine similarity) mesure la ressemblance entre deux vecteurs par l'angle qu'ils forment. Elle va de -1 à 1, ignore la longueur des vecteurs et constitue la façon la plus courante de comparer des embeddings en recherche.