Exploration du web pour l'IA
L'exploration du web pour l'IA (web crawling) est la récupération automatisée de pages web, en suivant des liens ou une liste d'URL, pour collecter du texte afin d'entraîner des modèles, de construire des index de recherche ou de fournir à une application du contenu frais à récupérer.
Aussi appelé : crawler, web scraping
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Beaucoup d'applications d'IA ont besoin de contenu web à jour : un bot de support qui connaît la documentation du produit, un agent de recherche ou un jeu de données pour le préentraînement. L'exploration est la façon de collecter ce contenu à grande échelle.
Comment ça marche
Un robot d'exploration part d'URL de départ, récupère chaque page, en extrait les liens et ajoute les nouveaux à une file d'attente. Les robots des moteurs de recherche découvrent ainsi la plupart des URL, en suivant les liens des pages qu'ils ont déjà récupérées. Pour un usage en IA, le robot retire ensuite la navigation et les publicités, exécute le JavaScript si nécessaire et convertit la page en texte propre ou en Markdown prêt pour le chunking. Des outils comme Firecrawl et Crawl4AI regroupent ces étapes.
L'exploration et le scraping se recoupent. L'exploration désigne généralement la découverte et la récupération de nombreuses pages ; le scraping consiste à extraire des champs ou un texte précis d'une page. De grandes explorations publiques existent aussi : Common Crawl publie une archive ouverte et gratuite dont s'inspirent de nombreux jeux de données d'entraînement.
Règles et bonnes pratiques
Les propriétaires de sites indiquent ce que les robots peuvent récupérer dans le fichier robots.txt, défini par le Robots Exclusion Protocol. Ces règles sont des demandes, pas un contrôle d'accès : les respecter dépend donc du robot. Certains sites publient aussi un fichier llms.txt qui oriente les modèles vers leurs pages les plus utiles. Les robots exploités par les entreprises d'IA sont présentés à la page robot d'IA. Vérifiez les conditions d'un site et la situation en matière de droit d'auteur avant de réutiliser ce que vous collectez. Le guide de l'ingestion de données compare les outils d'exploration.
Termes liés
- llms.txt
- llms.txt est une convention proposée selon laquelle un site web publie un fichier Markdown, généralement à l'adresse /llms.txt, qui résume le site et renvoie vers ses pages les plus utiles sous une forme facile à lire pour les modèles de langage.
- Crawler IA
- Un crawler IA (robot d'exploration) est un robot automatisé exploité par une entreprise d'IA qui récup ère des pages web pour collecter des données d'entraînement, construire un index de recherche IA ou charger une page en direct quand un utilisateur interroge un assistant à son sujet.
- Données d'entraînement de l'IA
- Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
- Chunking
- Le chunking (découpage en fragments) est l'étape qui divise les longs documents en passages plus petits avant qu'ils soient vectorisés et indexés, afin qu'un système de récupération puisse trouver et renvoyer uniquement les parties d'un document qui répondent à une requête.
- Génération augmentée par récupération
- La génération augmentée par récupération (retrieval-augmented generation, RAG) est un schéma dans lequel un système cherche d'abord dans une collection de documents les passages pertinents pour une question, puis fournit ces passages à un modèle de langage pour que sa réponse s'appuie dessus.