Ingesta y rastreo

Qué tener en cuenta

Las preguntas que distinguen las opciones, por orden de importancia.

1. 01

   Elige la herramienta según dónde están los datos

   Los sitios web públicos, los archivos de una unidad y los registros dentro de apps SaaS necesitan herramientas distintas. Los crawlers (Firecrawl, Crawl4AI, Jina Reader) leen páginas web; las plataformas de conectores (Airbyte) llaman a las APIs de apps y bases de datos; las bibliotecas de documentos (Unstructured) leen archivos que ya tienes. La mayoría de sistemas RAG necesitan dos de ellas, así que haz la lista de tus fuentes antes de comparar funciones.

2. 02

   Salida limpia, no solo HTML descargado

   Lo que importa es cuánta navegación, cuántos avisos de cookies y cuánto texto de pie de página llegan al Markdown, porque cada línea sobrante genera un embedding y puede recuperarse. Prueba cada candidato con diez de tus propias páginas objetivo y lee la salida. Las opciones de selectores (conservar este elemento, descartar aquel) suelen arreglar más que cambiar de herramienta.

3. 03

   Actualizaciones incrementales y detección de cambios

   Volver a rastrear o reimportarlo todo cada noche es lento y caro, y revuelve tu índice vectorial. Mejor las herramientas que sincronizan solo los registros que han cambiado (las sincronizaciones incrementales de Airbyte) o que te permiten programar rastreos y compararlos. Pregunta cómo se gestionan los borrados: una página o un registro eliminado en el origen también debería desaparecer de tu índice.

4. 04

   Renderizado de JavaScript y bloqueos

   Muchos sitios modernos generan el contenido con JavaScript y bloquean el tráfico desconocido. Los crawlers de código abierto renderizan las páginas con un navegador headless, pero te dejan a ti los proxies y la gestión antibots; los servicios alojados (Firecrawl Cloud, Apify) venden esa capa. Si tus objetivos son tu propia documentación o sitios que no ponen trabas, no necesitas pagar por ella.

5. 05

   El modelo de coste, a tu volumen

   Las unidades de precio varían: créditos por página (Firecrawl), tokens de salida (Jina Reader), unidades de cómputo más tarifas por Actor (Apify), tokens de LLM por página (ScrapeGraphAI) o créditos de sincronización (Airbyte). Multiplica por tu número real de páginas y tu frecuencia de actualización. La extracción con LLM cuesta mucho más por página que una simple conversión a Markdown, así que úsala solo en las páginas donde necesites campos tipados.

6. 06

   Licencia y límites del alojamiento propio

   Las licencias de código abierto de esta lista varían en aspectos que importan comercialmente. Firecrawl es AGPL-3.0 y reserva sus funciones antibots para la nube; Airbyte mezcla MIT y ELv2, que impide revenderlo como servicio alojado; Crawl4AI y ScrapeGraphAI son permisivas. Comprueba qué funciones incluye realmente la edición para alojamiento propio antes de planear ejecutarla tú.

7. 07

   Permisos y procedencia

   Respeta robots.txt y las condiciones de cada sitio, y guarda la URL de origen y la fecha de descarga en cada registro para poder citarlo, actualizarlo o borrarlo más adelante. No hay un benchmark público neutral de crawlers; los gráficos de velocidad y tasa de éxito de las webs de los proveedores son del propio proveedor, así que tómalos como afirmaciones.

9 herramientas comparadas

Ordenadas por nuestra nota. Abre cualquier reseña para ver las fuentes, los precios y el veredicto completo.

Comparativa de herramientas de Ingesta y rastreo

Herramienta	Nota	Nuestro veredicto	Ideal para	Precio
Recall.aiherramienta	4.3/5	Recall.ai es la forma sensata de llevar grabaciones de reuniones a tu producto, porque crear y mantener tú mismo bots para seis plataformas de vídeo es un trabajo que nadie termina.	Equipos de producto que crean tomadores de notas, coaching de ventas, entrevistas o funciones de CRM que necesitan grabaciones de las videollamadas de sus clientes.	Pago por uso $0.50/hora de grabación (primeras 5 horas gratis); transcripción integrada $0.15/hora; 7 días de almacenamiento gratis y después $0.05 por hora conservada durante 30 días; programa para startups $0.25/hora durante las primeras 10 000 horas. Launch y Enterprise a medida.
Firecrawlrepo	4.2/5	Una capa web alojada para agentes que se gana lo que cuesta; la edición de código abierto es un punto de partida, no un sustituto.	Desarrolladores que quieren una API gestionada para convertir sitios web en datos listos para LLM.	Código abierto AGPL-3.0. Cloud: Free con 1.000 créditos/mes; Hobby 19 $, Standard 99 $, Growth 399 $, Scale 749 $ al mes; Enterprise a medida.
Crawl4AIrepo	4.2/5	Sigue siendo el crawler abierto más sólido para pipelines de LLM, pero el historial de seguridad de su servidor Docker en 2026 impide exponerlo sin endurecerlo.	Equipos de Python que quieren un crawler autoalojado para RAG o agentes sin costes por página.	Biblioteca y servidor Docker gratuitos (Apache 2.0 más una cláusula de atribución). Crawl4AI Cloud: 1.000 créditos gratis al mes; Starter a 10 $ al mes por 10.000 créditos.
Apifyherramienta	4.1/5	Apify convierte el scraping de plataformas grandes y protegidas en configuración en lugar de ingeniería, a cambio de una factura que nadie puede prever antes de que se ejecute el trabajo.	Equipos que necesitan datos estructurados de sitios web grandes concretos y prefieren pagar a mantener scrapers.	Plan gratuito con 5 $ de uso/mes; Starter 19 $, Scale 199 $, Business 999 $ al mes como uso prepagado (un 10% menos al año); cómputo 0,13–0,20 $ por unidad; proxy residencial 7–8 $/GB; Actors de la Store aparte.
Jina Readerherramienta	4.0/5	Jina Reader convierte una URL en Markdown limpio por fracciones de céntimo, lo que lo hace la opción por defecto adecuada para agentes que leen una página cada vez y la herramienta equivocada para quien necesita rastrear un sitio.	Desarrolladores que necesitan que un agente o un proceso lea páginas web sueltas como Markdown con el mínimo coste.	Gratis sin clave a 20 peticiones/minuto; las claves incluyen tokens gratis y después el uso se cobra por tokens de salida de un saldo compartido de Jina (la guía de Jina de 2025 indicaba 50 $ por 1 mil millones de tokens; las tarifas actuales están tras el panel). La búsqueda cuesta al menos 10.000 tokens por petición. Licencias comerciales y locales vendidas anualmente por Elastic.
Airbyterepo	3.9/5	Airbyte tiene el catálogo abierto más amplio para llevar datos de negocio a un índice RAG, pero sus destinos de IA van por detrás de su núcleo ELT y autoalojarlo supone hacerse cargo de sus parches de seguridad.	Equipos de datos que alimentan un sistema RAG desde muchas aplicaciones SaaS y bases de datos y quieren sincronizaciones incrementales que puedan autoalojar.	Core autoalojado es gratuito (MIT y ELv2). Cloud Standard desde 20 $/mes con 5 créditos; Plus desde 189 $/mes por 40 créditos hasta 4.999 $ por 2.000; Pro y Enterprise Flex a medida.
Unstructuredrepo	3.8/5	Sigue siendo la red más amplia para formatos de archivo raros, pero sus creadores publican ahora las cifras que muestran por qué deberías pagarles.	Equipos que construyen pipelines de ETL que ingieren muchos formatos de documento para RAG.	Biblioteca gratuita con Apache 2.0. Plataforma alojada: 10.000 páginas gratis y después 0,015 $ por página; plan Business con despliegue en VPC o dedicado, con precio a consultar.
Obscurarepo	3.7/5	Obscura es una forma prometedora de recortar la factura de memoria del scraping a escala, pero es un motor de seis meses con un propietario anónimo y un discurso de sigilo, así que debe ir detrás de tus propias pruebas, no delante de ellas.	Equipos de scraping y de agentes que pagan por muchas instancias de Chrome y pueden probar antes sus sitios objetivo con un motor que no es Chromium.	Gratuito bajo Apache-2.0. Obscura Cloud (alojado, con proxies) solo tiene lista de espera y no tiene precio.
ScrapeGraphAIrepo	3.6/5	Es bueno extrayendo unos pocos campos tipados de páginas desordenadas, pero por defecto envía a sus creadores el contenido que extraes y paga una llamada al modelo por cada página.	Desarrolladores que extraen campos tipados de un número moderado de páginas web variadas.	Biblioteca gratuita con MIT; pagas los tokens del LLM. API alojada: 500 créditos gratuitos de una sola vez y después 20 $, 100 $ o 500 $ al mes; Enterprise a medida.

Lado a lado

Las especificaciones que importan en este paso. Comprobado el 19 oct 2026; confírmalo en la web del proveedor antes de decidirte.

Conéctalo a tu agente

Servidores MCP que permiten a asistentes como Claude, ChatGPT y Cursor usar estas herramientas directamente.

• Apify MCP Server 4.1
• Firecrawl MCP 4.4
• Fetch (reference server) 3.7

Dónde encaja esta etapa

• Chatea con tus documentos: empezaríamos con Firecrawl.
• Agente de atención al cliente: empezaríamos con Apify.
• Agente de programación: empezaríamos con GitHub MCP Server.
• Investigación y grafo de conocimiento: empezaríamos con Crawl4AI.
• Asistente con memoria a largo plazo: empezaríamos con Unstructured.
• Pipeline de generación de imágenes: empezaríamos con Firecrawl.
• Producción de vídeo: empezaríamos con Firecrawl.
• Agente de voz: empezaríamos con Firecrawl.
• IA privada y local: empezaríamos con Unstructured.
• Procesamiento de documentos: empezaríamos con Unstructured.
• Tu propio modelo con fine-tuning: empezaríamos con Crawl4AI.
• Automatización de flujos de trabajo: empezaríamos con Apify.

Fuentes de esta guía

• firecrawl/firecrawl on GitHub
• unclecode/crawl4ai on GitHub
• Apify pricing
• Jina Reader
• airbytehq/airbyte on GitHub
• Airbyte docs: Pinecone destination
• ScrapeGraphAI/Scrapegraph-ai on GitHub
• Best open-source web scrapers in 2026 (Scrapfly)
• RFC 9309: Robots Exclusion Protocol