O que é Crawl4AI?
O Crawl4AI rastreia páginas web e as transforma em Markdown para modelos de linguagem, pipelines de RAG e datasets. Ele controla um Chromium real pelo Playwright, então páginas pesadas em JavaScript são renderizadas, e pode extrair dados estruturados com CSS, XPath ou um LLM, rastrear muitas URLs ao mesmo tempo sob um dispatcher que leva a memória em conta e rodar em modo stealth.
Ele vem de três formas: uma biblioteca Python, um servidor Docker auto-hospedado com painel e endpoint MCP, e o Crawl4AI Cloud, uma API hospedada com /scrape, /extract, /search, /serp e /answer. A nuvem dá 1.000 créditos gratuitos por mês, com planos pagos a partir de US$ 10.
O código é Apache 2.0, mas o arquivo LICENSE acrescenta uma exigência de atribuição: usos públicos e distribuições devem dar crédito a UncleCode e ao projeto Crawl4AI.
Crawl4AI vale a pena?
O Crawl4AI continua sendo o padrão de código aberto para transformar páginas web em Markdown, com cerca de 86.100 estrelas no GitHub e um ritmo constante de seis versões, da v0.9.0 em 18 de junho à v0.9.5 em 14 de outubro de 2026. Duas coisas mudaram desde a cobertura anterior: o projeto agora vende uma API hospedada, o Crawl4AI Cloud, que o README promove bastante, e o servidor Docker se tornou seu ponto fraco.
O histórico de segurança é a primeira coisa que quem auto-hospeda deve ler. O GitHub lista 25 avisos publicados em 2026, cinco classificados como críticos, quase todos contra o servidor Docker: execução remota de código sem autenticação por meio de uma fuga do sandbox, RCE via injeção de argumentos de inicialização do Chromium, gravação de arquivos por path traversal e uma série de contornos de proteção contra server-side request forgery. Só o lote de outubro acrescentou seis, incluindo o Chromium iniciado com a verificação TLS desligada. A biblioteca usada dentro do seu próprio código Python é uma superfície de ataque menor; o servidor deve ficar em uma rede privada, atrás de um token, na versão mais recente.
A licença também merece uma segunda olhada. O repositório diz Apache 2.0, mas o arquivo LICENSE acrescenta que usos públicos, incluindo sites e ferramentas de linha de comando, devem dar crédito a UncleCode e ao Crawl4AI em uma página Sobre, em um arquivo NOTICE ou na saída de ajuda. É mais leve que a AGPL do Firecrawl, mas equipes jurídicas que aprovam Apache 2.0 por padrão vão querer ver isso.
A qualidade da saída é boa, mas ainda exige ajustes. Issues abertas relatam Markdown que perde a hierarquia de títulos e as tabelas, processos de navegador que se acumulam por semanas no caminho /crawl do Docker e um vazamento de memória em chamadas repetidas a /md que derruba contêineres. O trabalho contra bots fica com você quando auto-hospeda: o modo stealth e um adaptador de navegador não detectável ajudam, mas os proxies você compra. A nuvem lida com as barreiras anti-bot, cobrando proxies ISP a 2x e proxies residenciais a 4x o custo base em créditos.
Frente ao Firecrawl, a troca agora está mais clara. Ambos têm um núcleo aberto e uma API hospedada com 1.000 créditos gratuitos; a nuvem do Firecrawl é mais antiga, publica preços completos e afirma ter SOC 2 Type II, enquanto a do Crawl4AI é um lançamento suave cujos preços por endpoint carregam ao vivo e podem mudar. Para auto-hospedar, a biblioteca do Crawl4AI é muito mais fácil de encaixar em um único job Python do que a stack de vários serviços do Firecrawl.
Onde ele se destaca
Um engenheiro de dados que atualiza toda noite um índice de RAG com 5.000 páginas de documentação
Rastrear de novo a documentação de fornecedores e enviar Markdown limpo para um banco vetorial
Chame arun_many a partir de um job Python agendado com o dispatcher adaptado à memória; não há taxas por página, só a VM. Fixe a versão e confira de novo a lista de avisos a cada atualização.
Uma equipe de plataforma que oferece acesso à web para agentes internos
Rodar um serviço de rastreamento compartilhado que os agentes acessam por MCP
Rode a imagem Docker na porta 11235 com --shm-size=1g em uma sub-rede privada atrás de um token e aponte os agentes para o endpoint MCP. Reserve tempo para aplicar correções: 25 avisos saíram em 2026, a maioria sobre esse servidor.
Uma startup de duas pessoas sem ninguém para gerenciar proxies
Extrair dados de sites de varejo protegidos contra bots para um rastreador de preços
O plano Starter do Crawl4AI Cloud, a US$ 10 por mês, dá 10.000 créditos, 120 requisições por minuto e 10 simultâneas; proxies residenciais custam 4x a tarifa base. Os preços estão marcados como lançamento suave, então evite compromissos longos.
Antes de decidir
- Configuração
- pip install -U crawl4ai e depois crawl4ai-setup para instalar o Chromium; Python 3.10 ou superior. O servidor Docker é um único docker run com a porta 11235 e --shm-size=1g, e inclui painel e playground. A primeira página em Markdown sai em minutos.
- Integrações
- API assíncrona em Python (AsyncWebCrawler, arun_many), um servidor Docker REST com MCP e os endpoints /scrape, /extract, /search, /serp e /answer da nuvem, com uma URL MCP hospedada para Claude Code, Codex, Cursor e OpenCode. A extração com LLM usa a chave de qualquer provedor que você fornecer.
- Dados e privacidade
- Auto-hospedado, as páginas só vão para onde você as envia, e o README não menciona telemetria. A nuvem guarda os parâmetros das requisições e resumos dos resultados por 90 dias, armazena em cache as páginas obtidas e permite fixar as regiões UE, Singapura ou EUA. O LICENSE exige atribuição em usos públicos.
- Custo em escala
- Auto-hospedar custa a VM e eventuais proxies; não há dimensionamento oficial publicado. O Cloud Starter custa US$ 10 por mês por 10.000 créditos; créditos extras custam de US$ 10 a US$ 1.000 na tarifa do plano e nunca expiram, e falhas 5xx não são cobradas.
- Limites
- 278 issues e pull requests abertos; vazamentos de memória relatados e processos de navegador acumulados no servidor Docker; o Markdown pode perder a estrutura das tabelas; a API Docker fica atrás dos recursos da biblioteca, com uma issue aberta acompanhando a paridade.
O que é bom
- Código Apache 2.0, incorporável como biblioteca Python
- Sem custo por página quando auto-hospedado
- Rastreamento concorrente adaptado à memória e modo stealth
- Nuvem hospedada com MCP, a partir de US$ 10 por mês
O que não é
- 25 avisos de segurança em 2026, cinco críticos, a maioria no servidor Docker
- O LICENSE acrescenta uma cláusula de atribuição obrigatória
- Proxies e trabalho anti-bot ficam com você quando auto-hospedado
- Os preços da nuvem são de um lançamento suave e podem mudar
Ideal para
Equipes Python que querem um crawler auto-hospedado para RAG ou agentes sem custos por página.
Alternativas ao Crawl4AI
Crawl4AI: perguntas frequentes
- Crawl4AI vale a pena?
- Continua sendo o crawler aberto mais forte para pipelines de LLM, mas o histórico de segurança do seu servidor Docker em 2026 impede expô-lo sem endurecimento. Damos nota 4.2 de 5.
- Quanto custa Crawl4AI?
- Biblioteca e servidor Docker gratuitos (Apache 2.0 mais uma cláusula de atribuição). Crawl4AI Cloud: 1.000 créditos gratuitos por mês; Starter a US$ 10 por mês por 10.000 créditos.
- Quais são as desvantagens de Crawl4AI?
- 25 avisos de segurança em 2026, cinco críticos, a maioria no servidor Docker; o LICENSE acrescenta uma cláusula de atribuição obrigatória; proxies e trabalho anti-bot ficam com você quando auto-hospedado; os pre ços da nuvem são de um lançamento suave e podem mudar.
- Para quem Crawl4AI é indicado?
- Equipes Python que querem um crawler auto-hospedado para RAG ou agentes sem custos por página.
- Quanto custa Crawl4AI para uma equipe ou em produção?
- Auto-hospedar custa a VM e eventuais proxies; não há dimensionamento oficial publicado. O Cloud Starter custa US$ 10 por mês por 10.000 créditos; créditos extras custam de US$ 10 a US$ 1.000 na tarifa do plano e nunca expiram, e falhas 5xx não são cobradas.
- Crawl4AI é seguro para dados da empresa?
- Auto-hospedado, as páginas só vão para onde você as envia, e o README não menciona telemetria. A nuvem guarda os parâmetros das requisições e resumos dos resultados por 90 dias, armazena em cache as páginas obtidas e permite fixar as regiões UE, Singapura ou EUA. O LICENSE exige atribuição em usos públicos.
- Quais são as melhores alternativas ao Crawl4AI?
- As alternativas mais próximas que analisamos são Firecrawl, Browser Use e Obscura.
Respostas verificadas em 26 de out. de 2026.