Rastreador de IA
Un rastreador de IA (AI crawler) es un bot automatizado de una empresa de IA que descarga páginas web para recopilar datos de entrenamiento, construir un índice de búsqueda con IA o recuperar una página en directo cuando un usuario pregunta por ella a un asistente.
También llamado: GPTBot, ClaudeBot, PerplexityBot, AI bot
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Los propietarios de sitios ven cada vez más bots como GPTBot, ClaudeBot y PerplexityBot en los logs de sus servidores. Cada uno se identifica con una cadena user-agent, y saber cuál es cuál decide si el contenido de un sitio entrena modelos, aparece en respuestas de IA o ninguna de las dos cosas.
Tres tipos de bot
Las empresas de IA suelen separar sus bots por finalidad. Los rastreadores de entrenamiento, como GPTBot de OpenAI y ClaudeBot de Anthropic, recopilan páginas que pueden acabar en los datos de entrenamiento de IA. Los rastreadores de búsqueda, como OAI-SearchBot, Claude-SearchBot y PerplexityBot, indexan páginas para que un buscador con IA pueda citarlas. Los recuperadores activados por el usuario, como ChatGPT-User y Claude-User, cargan una sola página cuando una persona pide al asistente que la lea. OpenAI advierte de que las reglas de robots.txt pueden no aplicarse a las descargas iniciadas por el usuario.
Controlar el acceso
El control principal es robots.txt. Una regla como `User-agent: GPTBot` seguida de `Disallow: /` pide a ese bot que no entre, y cada bot se configura por separado, así que un sitio puede bloquear el entrenamiento y permitir la búsqueda. OpenAI dice que bloquear GPTBot indica que el contenido no debe usarse para entrenar. El Robots Exclusion Protocol es una petición, no un control de acceso, así que hacen falta cortafuegos o gestión de bots para los rastreadores que lo ignoran. Un archivo llms.txt es una idea distinta: orienta a los modelos hacia páginas útiles, pero no bloquea nada.
Por qué importa
Bloquear los rastreadores de búsqueda puede dejar un sitio fuera de las respuestas de IA, lo que afecta a la optimización para motores generativos. Bloquear los rastreadores de entrenamiento solo afecta a futuros entrenamientos. Consulta rastreo web para IA para ver cómo funcionan los rastreadores en general.
Términos relacionados
- Rastreo web para IA
- El rastreo web para IA (web crawling) es la descarga automática de páginas web, siguiendo enlaces o una lista de URL, para reunir texto con el que entrenar modelos, construir índices de búsqueda o dar a una aplicación contenido actualizado que recuperar.
- llms.txt
- llms.txt es una convención propuesta en la que un sitio web publica un archivo Markdown, normalmente en /llms.txt, que resume el sitio y enlaza a sus páginas más útiles en un formato que los modelos de lenguaje pueden leer con facilidad.
- Datos de entrenamiento de IA
- Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
- Buscador con IA
- Un buscador con IA (AI search engine) es un servicio de búsqueda que hace búsquedas web para una consulta, lee los resultados con un modelo de lenguaje y devuelve una respuesta redactada con enlaces a sus fuentes, en lugar de solo una lista de enlaces.
- Optimización para motores generativos
- La optimización para motores generativos (GEO, generative engine optimization) es la práctica de dar forma al contenido web para que los buscadores con IA y los asistentes de chat lo encuentren, lo citen y lo referencien en las respuestas que generan.