Préparation des données
Mettre documents, pages web et fichiers sous une forme qu’un système d’IA peut exploiter.
- Analyse de documents
- L'analyse de documents (document parsing) convertit des fichiers comme des PDF, des numérisations, des diapositives et des tableurs en texte structuré exploitable par un logiciel, en conservant les titres, l'ordre de lecture, les tableaux et les images au lieu d'un flux plat de caractères.
- Analyse de la mise en page
- L'analyse de la mise en page (layout analysis) est la partie de l'analyse de documents qui repère les zones d'une page, comme les titres, paragraphes, tableaux, figures, légendes et pieds de page, attribue une étiquette à chacune et détermine l'ordre dans lequel une personne les lirait.
- Chunking
- Le chunking (découpage en fragments) est l'étape qui divise les longs documents en passages plus petits avant qu'ils soient vectorisés et indexés, afin qu'un système de récupération puisse trouver et renvoyer uniquement les parties d'un document qui répondent à une requête.
- Crawler IA
- Un crawler IA (robot d'exploration) est un robot automatisé exploité par une entreprise d'IA qui récupère des pages web pour collecter des données d'entraînement, construire un index de recherche IA ou charger une page en direct quand un utilisateur interroge un assistant à son sujet.
- Exploration du web pour l'IA
- L'exploration du web pour l'IA (web crawling) est la récupération automatisée de pages web, en suivant des liens ou une liste d'URL, pour collecter du texte afin d'entraîner des modèles, de construire des index de recherche ou de fournir à une application du contenu frais à récupérer.
- Extraction de tableaux
- L'extraction de tableaux (table extraction) consiste à repérer les tableaux dans des documents et à reconstruire leurs lignes, colonnes, en-têtes et cellules sous forme de données structurées, comme du HTML, du Markdown ou du CSV, plutôt que de lignes de texte éparses.
- llms.txt
- llms.txt est une convention proposée selon laquelle un site web publie un fichier Markdown, généralement à l'adresse /llms.txt, qui résume le site et renvoie vers ses pages les plus utiles sous une forme facile à lire pour les modèles de langage.
- Reconnaissance optique de caractères
- La reconnaissance optique de caractères (OCR) est un logiciel qui lit le texte dans des images, comme des pages numérisées, des photos ou des captures d'écran, et le transforme en caractères lisibles par une machine, que l'on peut rechercher, copier ou fournir à un modèle.