Rastreo web para IA
El rastreo web para IA (web crawling) es la descarga automática de páginas web, siguiendo enlaces o una lista de URL, para reunir texto con el que entrenar modelos, construir índices de búsqueda o dar a una aplicación contenido actualizado que recuperar.
También llamado: crawler, web scraping
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Muchas aplicaciones de IA necesitan contenido web actual: un bot de soporte que conozca la documentación del producto, un agente de investigación o un conjunto de datos para el preentrenamiento. El rastreo es la forma de reunir ese contenido a gran escala.
Cómo funciona
Un crawler parte de unas URL semilla, descarga cada página, extrae los enlaces y añade los nuevos a una cola. Los crawlers de búsqueda descubren así la mayoría de las URL, siguiendo los enlaces de páginas que ya han descargado. Para su uso en IA, el crawler elimina después la navegación y los anuncios, ejecuta JavaScript cuando hace falta y convierte la página en texto limpio o Markdown listo para el chunking. Herramientas como Firecrawl y Crawl4AI agrupan estos pasos.
El crawling y el scraping se solapan. El crawling suele significar descubrir y descargar muchas páginas; el scraping, extraer campos o texto concretos de una página. También existen grandes rastreos públicos: Common Crawl publica un archivo abierto y gratuito del que beben muchos conjuntos de datos de entrenamiento.
Normas y buenas prácticas
Los propietarios de los sitios indican en robots.txt lo que pueden descargar los crawlers, según el Robots Exclusion Protocol. Esas reglas son peticiones, no control de acceso, así que respetarlas depende del crawler. Algunos sitios también publican un archivo llms.txt que dirige a los modelos a sus páginas más útiles. Los crawlers de las empresas de IA se tratan en crawler de IA. Revisa las condiciones y la situación de copyright de un sitio antes de reutilizar lo que reúnas. La guía de ingesta de datos compara herramientas de rastreo.
Términos relacionados
- llms.txt
- llms.txt es una convención propuesta en la que un sitio web publica un archivo Markdown, normalmente en /llms.txt, que resume el sitio y enlaza a sus páginas más útiles en un formato que los modelos de lenguaje pueden leer con facilidad.
- Rastreador de IA
- Un rastreador de IA (AI crawler) es un bot automatizado de una empresa de IA que descarga páginas web para recopilar datos de entrenamiento, construir un índice de búsqueda con IA o recuperar una página en directo cuando un usuario pregunta por ella a un asistente.
- Datos de entrenamiento de IA
- Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
- Chunking
- El chunking (fragmentación) es el paso que divide documentos largos en pasajes más pequeños antes de convertirlos en embeddings e indexarlos, para que un sistema de recuperación pueda encontrar y devolver solo las partes de un documento que responden a una consulta.
- Generación aumentada por recuperación
- La generación aumentada por recuperación (RAG, retrieval-augmented generation) es un patrón en el que un sistema busca primero en una colección de documentos los pasajes relevantes para una pregunta y luego se los da a un modelo de lenguaje para que su respuesta se base en ellos.