Crawler IA
Un crawler IA (robot d'exploration) est un robot automatisé exploité par une entreprise d'IA qui récupère des pages web pour collecter des données d'entraînement, construire un index de recherche IA ou charger une page en direct quand un utilisateur interroge un assistant à son sujet.
Aussi appelé : GPTBot, ClaudeBot, PerplexityBot, AI bot
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les propriétaires de sites voient de plus en plus souvent des robots comme GPTBot, ClaudeBot et PerplexityBot dans leurs journaux de serveur. Chacun s'identifie par une chaîne user-agent, et savoir lequel est lequel détermine si le contenu d'un site sert à entraîner des modèles, apparaît dans des réponses d'IA, ou ni l'un ni l'autre.
Trois types de robots
Les entreprises d'IA ont tendance à répartir leurs robots par usage. Les crawlers d'entraînement, comme GPTBot d'OpenAI et ClaudeBot d'Anthropic, collectent des pages susceptibles d'entrer dans les données d'entraînement de l'IA. Les crawlers de recherche, comme OAI-SearchBot, Claude-SearchBot et PerplexityBot, indexent des pages pour qu'un moteur de recherche IA puisse les citer. Les récupérateurs déclenchés par l'utilisateur, comme ChatGPT-User et Claude-User, chargent une seule page quand une personne demande à l'assistant de la lire. OpenAI précise que les règles du robots.txt peuvent ne pas s'appliquer aux récupérations initiées par l'utilisateur.
Contrôler l'accès
Le principal moyen de contrôle est le robots.txt. Une règle comme `User-agent: GPTBot` suivie de `Disallow: /` demande à ce robot de rester à l'écart, et chaque robot se règle séparément : un site peut donc bloquer l'entraînement tout en autorisant la recherche. OpenAI indique qu'interdire GPTBot signale que le contenu ne doit pas servir à l'entraînement. Le protocole d'exclusion des robots est une demande, pas un contrôle d'accès : il faut donc des pare-feu ou une gestion des robots pour les crawlers qui l'ignorent. Un fichier llms.txt relève d'une autre idée : il oriente les modèles vers des pages utiles mais ne bloque rien.
Pourquoi c'est important
Bloquer les crawlers de recherche peut tenir un site à l'écart des réponses d'IA, ce qui touche la generative engine optimization. Bloquer les crawlers d'entraînement n'a d'effet que sur les entraînements futurs. Voir l'exploration web pour l'IA pour le fonctionnement général des crawlers.
Termes liés
- Exploration du web pour l'IA
- L'exploration du web pour l'IA (web crawling) est la récupération automatisée de pages web, en suivant des liens ou une liste d'URL, pour collecter du texte afin d'entraîner des modèles, de construire des index de recherche ou de fournir à une application du contenu frais à récupérer.
- llms.txt
- llms.txt est une convention proposée selon laquelle un site web publie un fichier Markdown, généralement à l'adresse /llms.txt, qui résume le site et renvoie vers ses pages les plus utiles sous une forme facile à lire pour les modèles de langage.
- Données d'entraînement de l'IA
- Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
- Moteur de recherche IA
- Un moteur de recherche IA est un service de recherche qui lance des recherches web pour une requête, lit les résultats avec un modèle de langage et renvoie une réponse rédigée avec des liens vers ses sources, au lieu d'une simple liste de liens.
- Generative engine optimization
- La generative engine optimization (GEO, optimisation pour les moteurs génératifs) consiste à façonner le contenu web pour que les moteurs de recherche IA et les assistants conversationnels le trouvent, le citent et le mentionnent comme source dans les réponses qu'ils génèrent.