Crawler de IA
Um crawler de IA (rastreador de IA) é um bot automatizado operado por uma empresa de IA que busca páginas da web para coletar dados de treinamento, montar um índice de busca com IA ou carregar uma página na hora quando um usuário pergunta a um assistente sobre ela.
Também chamado: GPTBot, ClaudeBot, PerplexityBot, AI bot
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Donos de sites veem cada vez mais bots como GPTBot, ClaudeBot e PerplexityBot nos logs dos seus servidores. Cada um se identifica com uma string de user-agent, e saber qual é qual decide se o conteúdo de um site treina modelos, aparece em respostas de IA ou nenhum dos dois.
Três tipos de bot
As empresas de IA costumam separar seus bots por finalidade. Crawlers de treinamento, como o GPTBot da OpenAI e o ClaudeBot da Anthropic, coletam páginas que podem entrar em dados de treinamento de IA. Crawlers de busca, como OAI-SearchBot, Claude-SearchBot e PerplexityBot, indexam páginas para que um mecanismo de busca com IA possa citá-las. Buscadores acionados pelo usuário, como ChatGPT-User e Claude-User, carregam uma única página quando uma pessoa pede ao assistente que a leia. A OpenAI observa que as regras do robots.txt podem não se aplicar a buscas iniciadas pelo usuário.
Controlando o acesso
O principal controle é o robots.txt. Uma regra como `User-agent: GPTBot` seguida de `Disallow: /` pede que esse bot fique longe, e cada bot é configurado separadamente, então um site pode bloquear o treinamento e permitir a busca. A OpenAI diz que bloquear o GPTBot sinaliza que o conteúdo não deve ser usado para treinamento. O Robots Exclusion Protocol é um pedido, não um controle de acesso, então firewalls ou gerenciamento de bots são necessários para crawlers que o ignoram. Um arquivo llms.txt é uma ideia à parte: ele aponta páginas úteis para os modelos, mas não bloqueia nada.
Por que isso importa
Bloquear crawlers de busca pode deixar um site de fora das respostas de IA, o que afeta a generative engine optimization. Bloquear crawlers de treinamento só afeta rodadas de treinamento futuras. Veja web crawling para IA para entender como os crawlers funcionam em geral.
Termos relacionados
- Web crawling para IA
- Web crawling para IA (rastreamento da web) é a busca automática de páginas web, seguindo links ou uma lista de URLs, para coletar texto para treinar modelos, construir índices de busca ou dar a uma aplicação conteúdo atualizado para recuperar.
- llms.txt
- llms.txt é uma convenção proposta em que um site publica um arquivo Markdown, geralmente em /llms.txt, que resume o site e aponta para suas páginas mais úteis em um formato que modelos de linguagem leem com facilidade.
- Dados de treinamento de IA
- Dados de treinamento de IA são o conjunto de exemplos com que um modelo aprende, como texto da web, código, imagens, transcrições ou pares rotulados. Seu tamanho, qualidade, composição e licenciamento definem o que o modelo consegue fazer e onde ele falha.
- Mecanismo de busca com IA
- Um mecanismo de busca com IA é um serviço de busca que faz pesquisas na web para uma consulta, lê os resultados com um modelo de linguagem e devolve uma resposta escrita com links para suas fontes, em vez de apenas uma lista de links.
- Generative engine optimization
- Generative engine optimization (GEO, otimização para mecanismos generativos) é a prática de moldar o conteúdo web para que mecanismos de busca com IA e assistentes de chat o encontrem, o citem e o referenciem nas respostas que geram.