Crawl4AIとは？
Crawl4AI はウェブページをクロールし、言語モデル、RAG パイプライン、データセット向けの Markdown に変換します。Playwright を通じて本物の Chromium を動かすため、JavaScript を多用するページも描画されます 。CSS、XPath、LLM による構造化データの抽出、メモリを考慮するディスパッチャーによる多数の URL の同時クロール、ステルスモードでの実行にも対応します。
提供形態は 3 つです。Python ライブラリ、ダッシュボードと MCP エンドポイントを備えたセルフホスト型の Docker サーバー、そして /scrape、/extract、/search、/serp、/answer を備えたホスト型 API の Crawl4AI Cloud です。クラウドには毎月 1,000 の無料クレジットがあり、有料プランは $10 からです。
コードは Apache 2.0 ですが、LICENSE ファイルには帰属表示の要件が追加されています。公開での利用や配布の際には、UncleCode と Crawl4AI プロジェクトのクレジット表記が必要です。
Crawl4AIは使う価値があるか？
Crawl4AI は、ウェブページを Markdown に変換するオープンソースの定番であり続けています。GitHub のスターは約 86,100 で、2026 年 6 月 18 日の v0.9.0 から 10 月 14 日の v0.9.5 まで、6 回のリリースを着実に重ねています。以前の紹介から変わった点が 2 つあります。プロジェクトがホスト型 API の Crawl4AI Cloud を販売するようになり、README で強く宣伝していること、そして Docker サーバーが弱点になったことです。
セルフホストする人がまず読むべきなのは、セキュリティの実績です。GitHub には 2026 年に公開されたアドバイザリが 25 件あり、うち 5 件が重大と評価されています。ほぼすべてが Docker サーバーに対するもので、サンドボックス脱出による認証前のリモートコード実行、Chromium の起動引数インジェクションによる RCE、パストラバーサルによるファイル書き込み、そしてサーバーサイドリクエストフォージェリの 回避が相次ぎました。10 月だけでも 6 件が追加され、その中には TLS 検証を無効にした状態で Chromium が起動される問題も含まれます。自分の Python コード内で使うライブラリは攻撃対象領域が小さめです。サーバーは、プライベートネットワーク上で、トークンで保護し、最新リリースで動かすべきです。
ライセンスも再確認が必要です。リポジトリには Apache 2.0 とありますが、LICENSE ファイルには、ウェブサイトやコマンドラインツールを含む公開での利用では、About ページ、NOTICE ファイル、またはヘルプ出力で UncleCode と Crawl4AI のクレジットを表記しなければならないと追記されています。Firecrawl の AGPL よりは軽いものの、Apache 2.0 を標準で承認している法務チームは確認したいはずです。
出力の質は良好ですが、まだ調整が必要です。未解決の issue には、見出しの階層や表が失われる Markdown、Docker の /crawl 経路でブラウザプロセスが何週間も溜まり続ける問題、/md の繰り返し呼び出しでメモリリークが起きてコンテナがクラッシュする問題が報告されています。セルフホストの場合、ボット対策は自分の仕事です。ステルスモードと検出回避ブラウザのアダプターは役立ちますが、プロキシは自分で購入します。クラウドはボット対策の壁に対応し、ISP プロキシには基本クレジットの 2x、レジデンシャルプロキシには 4x を課金します。
Firecrawl との比較では、トレードオフがよりはっきりしてきました。どちらもオープンコアと、1,000 の無料クレジット付きのホスト型 API を持っています。Firecrawl のクラウドは歴史が長く、全価格を公開し、SOC 2 Type II を取得していると主張しています。一方、Crawl4AI のクラウドはソフトローンチの段階で、エンドポイントごとの価格はページ上で動的に読み込まれ、変わる可能性があります。セルフホストなら、Crawl4AI のライブラリは、Firecrawl の複数サービスからなるスタックよりはるかに簡単に一つの Python ジョブに組み込めます。
真価を発揮する場面
5,000 ページのドキュメントからなる RAG インデックスを毎晩更新するデータエンジニア
ベンダーのドキュメントを再クロールし、きれいな Markdown をベクトルストアに投入する
スケジュール実行される Python ジョブから、メモリ適応型ディスパッチャーを使って arun_many を呼び出します。ページ単位の料金はなく、かかるのは VM だけです。バージョンを固定し、アップグレードのたびにアドバイザリ一覧を確認してください。
社内エージェントにウェブアクセスを提供するプラットフォームチーム
エージェントが MCP 経由で使う共有クロールサービスを一つ運用する
プライベートサブネット上で、トークンで保護し、Docker イメージをポート 11235、--shm-size=1g で動かし、エージェントをその MCP エンドポイントに向けます。パッチ適用の時間を見込んでください。2026 年には 25 件のアドバ イザリが出ており、大半はこのサーバーに関するものです。
プロキシを管理する人がいない 2 人のスタートアップ
価格トラッカーのために、ボット対策のある小売サイトをスクレイピングする
Crawl4AI Cloud の Starter プランは月額 $10 で、10,000 クレジット、毎分 120 リクエスト、同時 10 件です。レジデンシャルプロキシは基本料金の 4x かかります。価格はソフトローンチと明記されているので、長期の契約は避けてください。
導入前に確認すること
- 導入
- pip install -U crawl4ai の後、crawl4ai-setup で Chromium をインストールします。Python 3.10 以降が必要です。Docker サーバーはポート 11235 と --shm-size=1g を指定した docker run 一回で起動し、ダッシュボードとプレイグラウンドが付いています。最初のページを Markdown にするまで数分です。
- 連携
- Python の非同期 API（AsyncWebCrawler、arun_many）、MCP 付きの REST Docker サーバー、クラウドの /scrape、/extract、/search、/serp、/answer エンドポイントと、Claude Code、Codex、Cursor、OpenCode 向けのホスト型 MCP URL に対応します。LLM による抽出には、自分で用意した任意のプロバイダーのキーを使います。
- データとプライバシー
- セルフホストでは、ページは自分が送った先にしか行かず、README にテレメトリの記載はありません。クラウドはリクエストのパラメーターと結果の要約を 90 日間保持し、取得したページをキャッシュします。リージョンは EU、シンガポール、US から固定できます。LICENSE は公開での利用に帰属表示を求めています。
- 大規模利用時のコスト
- セルフホストのコストは VM と必要なプロキシ代です。公式のサイジング情報は公開されていません。クラウドの Starter は月額 $10 で 10,000 クレジットです。追加クレジットはプランのレートで $10 から $1,000 分まで購入でき、有効期限はありません。5xx の失敗は課金されません。
- 制限
- 未解決の issue とプルリクエストが 278 件あります。Docker サーバーではメモリリークやブラウザプロセスの蓄積が報告されています。Markdown では表の構造が失われることがあります。Docker API はライブラリの機能に遅れており、同等化を追跡する issue が開いています。
良い点
- Apache 2.0 のコードで、Python ライブラリとして組み込み可能
- セルフホストならページ単位のコストなし
- メモリ適応型の同時クロールとステルスモード
- MCP 付きのホスト型クラウドが月額 $10 から
気になる点
- 2026 年にセキュリティアドバイザリが 25 件、うち 5 件が重大で、 大半は Docker サーバー
- LICENSE に必須の帰属表示条項が追加されている
- セルフホストではプロキシとボット対策を自分で担う
- クラウドの価格はソフトローンチ段階で、変わる可能性がある
おすすめの人
ページ単位のコストなしで、RAG やエージェント向けのセルフホスト型クローラーを使いたい Python チーム。
Crawl4AIの代替
Crawl4AI：よくある質問
- Crawl4AIは使う価値があるか？
- LLM パイプライン向けのオープンなクローラーとしては今も最有力ですが、Docker サーバーの 2026 年のセキュリティ実績を見ると、堅牢化せずに公開することはできません。 評価は5点満点中4.2点です。
- Crawl4AIの料金は？
- ライブラリと Docker サーバーは無料（Apache 2.0 に帰属表示条項を追加）。Crawl4AI Cloud：毎月 1,000 の無料クレジット。Starter は月額 $10 で 10,000 クレジット。
- Crawl4AIの欠点は？
- 2026 年にセキュリティアドバイザリが 25 件、うち 5 件が重大で、大半は Docker サーバー; LICENSE に必須の帰属表示条項が追加されている; セルフホストではプロキシとボット対策を自分で担う; クラウドの価格はソフトローンチ段階で、変わる可能性がある.
- Crawl4AIは誰に向いているか？
- ページ単位のコストなしで、RAG やエージェント向けのセルフホスト型クローラーを使いたい Python チーム。
- チームや本番環境でCrawl4AIを使うと費用はいくらか？
- セルフホストのコストは VM と必要なプロキシ代です。公式のサイジング情報は公開されていません。クラウドの Starter は月額 $10 で 10,000 クレジットです。追加クレジットはプランのレートで $10 から $1,000 分まで購入でき、有効期限はありません。5xx の失敗は課金されません。
- Crawl4AIは企業データを扱っても安全か？
- セルフホストでは、ページは自分が送った先にしか行かず、README にテレメトリの記載はありません。クラウドはリクエストのパラメーターと結果の要約を 90 日間保持し、取得したページをキャッシュします。リージョンは EU、シンガポール、US から固定できます。LICENSE は公開での利用に帰属表示を求めています。
- Crawl4AIの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はFirecrawl, Browser Use 、 Obscuraです。
回答確認日：2026年10月26日