Qu’est-ce que Crawl4AI ?
Crawl4AI parcourt les pages web et les transforme en Markdown pour les modèles de langage, les pipelines RAG et les jeux de données. Il pilote un vrai Chromium via Playwright, si bien que les pages lourdes en JavaScript se rendent, et il peut extraire des données structurées avec CSS, XPath ou un LLM, parcourir de nombreuses URL à la fois sous un répartiteur conscient de la mémoire, et tourner dans un mode furtif.
Il vient de trois manières : une bibliothèque Python, un serveur Docker auto-hébergé avec un tableau de bord et un endpoint MCP, et Crawl4AI Cloud, une API hébergée avec /scrape, /extract, /search, /serp et /answer. Le cloud donne 1 000 crédits gratuits par mois, avec des plans payants à partir de 10 $.
Le code est Apache 2.0, mais le fichier LICENSE ajoute une exigence d'attribution : les usages et distributions publics doivent créditer UncleCode et le projet Crawl4AI.
Crawl4AI vaut-il le coup ?
Crawl4AI reste le choix par défaut open source pour transformer les pages web en Markdown, avec environ 86 100 étoiles GitHub et une cadence régulière de six versions de la v0.9.0 le 18 juin à la v0.9.5 le 14 octobre 2026. Deux choses ont changé depuis une couverture antérieure : le projet vend désormais une API hébergée, Crawl4AI Cloud, que le README promeut fortement, et le serveur Docker est devenu son point faible.
Le bilan de sécurité est la première chose qu'un auto-hébergeur devrait lire. GitHub liste 25 avis publiés en 2026, cinq notés critiques, presque tous contre le serveur Docker : exécution de code à distance pré-authentification via une évasion de bac à sable, RCE via injection d'argument de lancement de Chromium, écritures de fichiers par traversée de chemin et une série de contournements de falsification de requête côté serveur. Le lot d'octobre à lui seul en a ajouté six, dont Chromium lancé avec la vérification TLS désactivée. La bibliothèque utilisée dans votre propre code Python est une plus petite surface d'attaque ; le serveur appartient à un réseau privé, derrière un jeton, sur la dernière version.
La licence mérite un second regard aussi. Le dépôt dit Apache 2.0, pourtant le fichier LICENSE ajoute que les usages publics, y compris les sites web et les outils en ligne de commande, doivent créditer UncleCode et Crawl4AI dans une page À propos, un fichier NOTICE ou une sortie d'aide. C'est plus léger que l'AGPL de Firecrawl, mais les équipes juridiques qui valident Apache 2.0 par défaut voudront le voir.
La qualité de sortie est bonne mais demande encore du réglage. Des issues ouvertes rapportent du Markdown qui perd la hiérarchie des titres et les tableaux, des processus de navigateur qui s'accumulent pendant des semaines sur le chemin Docker /crawl, et une fuite de mémoire sur les appels /md répétés qui fait planter les conteneurs. Le travail anti-bot est le vôtre en auto-hébergement : le mode furtif et un adaptateur de navigateur indétectable aident, mais vous achetez les proxys. Le cloud gère les murs anti-bot, facturant les proxys ISP à 2x et les proxys résidentiels à 4x le coût de crédit de base.
Face à Firecrawl, l'échange est désormais plus clair. Les deux ont un cœur ouvert et une API hébergée avec 1 000 crédits gratuits ; le cloud de Firecrawl est plus ancien, publie des prix complets et revendique SOC 2 Type II, tandis que celui de Crawl4AI est un lancement discret dont les prix par endpoint se chargent en direct et peuvent changer. Pour l'auto-hébergement, la bibliothèque de Crawl4AI est bien plus facile à intégrer dans un seul travail Python que la pile multi-services de Firecrawl.
Là où il fait la différence
Un ingénieur données qui rafraîchit chaque nuit un index RAG de 5 000 pages de documentation
Re-parcourir la documentation des fournisseurs et pousser du Markdown propre dans un magasin de vecteurs
Appelez arun_many depuis un travail Python planifié avec le répartiteur adaptatif à la mémoire ; il n'y a pas de frais par page, seulement la VM. Épinglez la version et revérifiez la liste des avis à chaque mise à niveau.
Une équipe plateforme qui offre l'accès web à des agents internes
Faire tourner un seul service de crawl partagé que les agents atteignent via MCP
Faites tourner l'image Docker sur le port 11235 avec --shm-size=1g sur un sous-réseau privé derrière un jeton, et pointez les agents vers son endpoint MCP. Budgétez du temps pour les correctifs : 25 avis ont atterri en 2026, surtout sur ce serveur.
Une start-up de deux personnes sans personne pour gérer les proxys
Scraper des sites de vente protégés contre les bots pour un suivi de prix
Le plan Starter de Crawl4AI Cloud à 10 $ par mois donne 10 000 crédits, 120 requêtes par minute et 10 à la fois ; les proxys résidentiels coûtent 4x le tarif de base. Les prix sont étiquetés lancement discret, alors évitez les engagements longs.
Avant de vous engager
- Mise en route
- pip install -U crawl4ai, puis crawl4ai-setup pour installer Chromium ; Python 3.10 ou plus récent. Le serveur Docker est un docker run avec le port 11235 et --shm-size=1g, et inclut un tableau de bord et un playground. Une première page vers Markdown prend quelques minutes.
- Intégrations
- API async Python (AsyncWebCrawler, arun_many), un serveur Docker REST avec MCP, et les endpoints /scrape, /extract, /search, /serp et /answer du cloud avec une URL MCP hébergée pour Claude Code, Codex, Cursor et OpenCode. L'extraction par LLM utilise n'importe quelle clé de fournisseur que vous fournissez.
- Données et confidentialité
- Auto-hébergé, les pages ne vont que là où vous les envoyez, et le README ne mentionne aucune télémétrie. Le cloud garde les paramètres de requête et les résumés de résultats pendant 90 jours, met en cache les pages récupérées, et vous laisse fixer les régions UE, Singapour ou États-Unis. Le fichier LICENSE exige l'attribution dans les usages publics.
- Coût à grande échelle
- L'auto-hébergement coûte la VM et les éventuels proxys ; aucun dimensionnement officiel n'est publié. Cloud Starter est à 10 $ par mois pour 10 000 crédits ; les crédits supplémentaires coûtent de 10 $ à 1 000 $ au tarif du plan et n'expirent jamais, et les échecs 5xx ne sont pas facturés.
- Limites
- 278 issues et pull requests ouvertes ; fuites de mémoire rapportées et processus de navigateur qui s'accumulent sur le serveur Docker ; le Markdown peut perdre la structure des tableaux ; l'API Docker est en retard sur les fonctions de la bibliothèque, avec une issue ouverte qui suit la parité.
Les points forts
- Code Apache 2.0, intégrable comme bibliothèque Python
- Pas de coût par page en auto-hébergement
- Crawling simultané adaptatif à la mémoire et mode furtif
- Cloud hébergé avec MCP, à partir de 10 $ par mois
Les points faibles
- 25 avis de sécurité en 2026, cinq critiques, surtout le serveur Docker
- Le fichier LICENSE ajoute une clause d'attribution obligatoire
- Les proxys et le travail anti-bot sont les vôtres en auto-hébergement
- Les prix du cloud sont un lancement discret et peuvent changer
Idéal pour
Les équipes Python qui veulent un crawler auto-hébergé pour le RAG ou les agents sans coût par page.
Alternatives à Crawl4AI
Crawl4AI : questions fréquentes
- Crawl4AI vaut-il le coup ?
- Toujours le crawler ouvert le plus solide pour les pipelines LLM, mais le bilan de sécurité 2026 de son serveur Docker exclut de l'exposer sans durcissement. Nous lui donnons 4.2 sur 5.
- Combien coûte Crawl4AI ?
- Bibliothèque et serveur Docker gratuits (Apache 2.0 plus une clause d'attribution). Crawl4AI Cloud : 1 000 crédits gratuits par mois ; Starter 10 $ par mois pour 10 000 crédits.
- Quels sont les inconvénients de Crawl4AI ?
- 25 avis de sécurité en 2026, cinq critiques, surtout le serveur Docker; le fichier LICENSE ajoute une clause d'attribution obligatoire; les proxys et le travail anti-bot sont les vôtres en auto-hébergement; les prix du cloud sont un lancement discret et peuvent changer.
- À qui s’adresse Crawl4AI ?
- Les équipes Python qui veulent un crawler auto-hébergé pour le RAG ou les agents sans coût par page.
- Combien coûte Crawl4AI pour une équipe ou en production ?
- L'auto-hébergement coûte la VM et les éventuels proxys ; aucun dimensionnement officiel n'est publié. Cloud Starter est à 10 $ par mois pour 10 000 crédits ; les crédits supplémentaires coûtent de 10 $ à 1 000 $ au tarif du plan et n'expirent jamais, et les échecs 5xx ne sont pas facturés.
- Crawl4AI est-il sûr pour les données de l’entreprise ?
- Auto-hébergé, les pages ne vont que là où vous les envoyez, et le README ne mentionne aucune télémétrie. Le cloud garde les paramètres de requête et les résumés de résultats pendant 90 jours, met en cache les pages récupérées, et vous laisse fixer les régions UE, Singapour ou États-Unis. Le fichier LICENSE exige l'attribution dans les usages publics.
- Quelles sont les meilleures alternatives à Crawl4AI ?
- Les alternatives les plus proches que nous avons testées sont Firecrawl, Browser Use et Obscura.
Réponses vérifiées le 26 oct. 2026.