取り込みとクロール

確認すべきポイント

選択肢を分けるポイントを、重要な順に並べています。

1. 01

   データのある場所にツールを合わせる

   公開Webサイト、ドライブ上のファイル、SaaSアプリ内のレコードには、それぞれ別のツールが必要です。クローラー（Firecrawl、Crawl4AI、Jina Reader）はWebページを読み、コネクタプラットフォーム（Airbyte）はアプリやデータベースのAPIを呼び、文書ライブラリ（Unstructured）は手元のファイルを読みます。ほとんどのRAGシステムはこのうち2つを必要とするので、機能を比べる前にデータソースを書き出しましょう。

2. 02

   取得したHTMLではなく、きれいな出力を

   重要なのは、ナビゲーション、Cookieのバナー、フッターの文章がどれだけMarkdownに残るかです。残った行はすべて埋め込まれ、検索で返される可能性があるからです。候補ごとに、自分の対象ページ10件で実行し、出力を読んでください。セレクターのオプション（この要素は残し、あれは捨てる）で、ツールを替えるより多くの問題が解決することがよくあります。

3. 03

   差分更新と変更の検出

   毎晩すべてを再クロールしたり再インポートしたりするのは、遅く、費用がかかり、ベクトルインデックスを不必要にかき回します。変更されたレコードだけを同期するツール（Airbyteの差分同期）や、クロールをスケジュールして差分を取れるツールを選びましょう。削除の扱いも確認してください。元の場所で消されたページやレコードは、インデックスからも消えるべきです。

4. 04

   JavaScriptの描画とブロック

   現代のサイトの多くは、JavaScriptでコンテンツを描画し、見慣れないトラフィックをブロックします。オープンソースのクローラーはヘッドレスブラウザでページを描画しますが、プロキシとボット対策は利用者任せです。ホスト型サービス（Firecrawl Cloud、Apify）はその層を販売しています。対象が自社のドキュメントや協力的なサイトなら、そこにお金を払う必要はありません。

5. 05

   自分の量での費用モデル

   価格の単位はさまざまです。ページごとのクレジット（Firecrawl）、出力トークン（Jina Reader）、コンピュートユニットとActorごとの料金（Apify）、ページごとのLLMトークン（ScrapeGraphAI）、同期クレジット（Airbyte）などです。実際のページ数と更新頻度を掛けて計算しましょう。LLMによる抽出は、普通のMarkdown変換よりページあたりはるかに高くつくので、型付きのフィールドが必要なページだけに使ってください。

6. 06

   ライセンスとセルフホストの制限

   ここで紹介するオープンソースのライセンスは、商用で重要な点で異なります。FirecrawlはAGPL-3.0で、ボット対策の機能はクラウドにとどめています。AirbyteはMITとELv2の混在で、ホスト型サービスとしての再販を禁じています。Crawl4AIとScrapeGraphAIは寛容なライセンスです。自分で運用するつもりなら、その前にセルフホスト版に実際にどの機能が含まれるかを確認してください。

7. 07

   許可と出所

   robots.txtとサイトの規約を守り、すべてのレコードに取得元のURLと取得日を残しておけば、後で引用、更新、削除ができます。クローラーの中立的な公開ベンチマークはありません。ベンダーのサイトにある速度や成功率のグラフはベンダー自身のものなので、主張として扱ってください。

9 個のツールを比較

当サイトの評価順です。各レビューで出典、料金、評価の詳細を確認できます。

取り込みとクロールのツール比較

ツール	評価	当サイトの評価	向いている用途	料金
Recall.aiツール	4.3/5	Recall.aiは、会議の録画を自社の製品に取り込む妥当な方法です。6つのビデオ会議プラットフォーム向けのボットを自前で作って保守する仕事は、誰にも終わらせられないからです。	顧客のビデオ通話の録画を必要とする、議事録、営業コーチング、面接、CRMの機能を作るプロダクトチームに向いています。	従量課金で録画1時間$0.50(最初の5時間は無料)、組み込みの書き起こしは1時間$0.15です。7日間は無料で保存でき、その後30日間保持すると録画1時間あたり$0.05かかります。スタートアップ向けプログラムでは最初の10,000時間が1時間$0.25です。LaunchとEnterpriseは個別見積もりです。
Firecrawlリポジトリ	4.2/5	料金に見合う価値のある、エージェント向けのホスト型ウェブレイヤーです。オープンソース版は出発点であって、代わりになるものではありません。	ウェブサイトを LLM ですぐ使えるデータに変えるマネージドの API を求める開発者。	AGPL-3.0 のオープンソースです。クラウド：Free は月 1,000 クレジット。Hobby は月額 $19、Standard は $99、Growth は $399、Scale は $749。Enterprise はカスタム価格です。
Crawl4AIリポジトリ	4.2/5	LLM パイプライン向けのオープンなクローラーとしては今も最有力ですが、Docker サーバーの 2026 年のセキュリティ実績を見ると、堅牢化せずに公開することはできません。	ページ単位のコストなしで、RAG やエージェント向けのセルフホスト型クローラーを使いたい Python チーム。	ライブラリと Docker サーバーは無料（Apache 2.0 に帰属表示条項を追加）。Crawl4AI Cloud：毎月 1,000 の無料クレジット。Starter は月額 $10 で 10,000 クレジット。
Apifyツール	4.1/5	Apifyは、防御の固い大規模プラットフォームのスクレイピングを、エンジニアリングではなく設定の作業に変えます。その代わり、ジョブを動かす前には誰にも予測できない請求書が届きます。	特定の大規模サイトから構造化データを必要とし、スクレイパーを保守するよりお金を払いたいチーム。	Freeプランは月$5分の利用付き。Starterは$19、Scaleは$199、Businessは月$999で、いずれも前払いの利用分です（年払いで約10%安）。コンピュートは1ユニット$0.13〜$0.20。レジデンシャルプロキシは1 GBあたり$7〜$8。Store Actorは別料金です。
Jina Readerツール	4.0/5	Jina Reader は 1 つの URL を 1 セント未満できれいな Markdown に変えます。1 ページずつ読むエージェントには最適な標準の選択肢ですが、サイト全体をクロールしたい人には向きません。	エージェントやパイプラインに個々の Web ページを最小限のコストで Markdown として読ませたい開発者。	キーなしなら 1 分あたり 20 リクエストまで無料です。キーには無料トークンが付き、その後は Jina の共有残高から出力トークン単位で課金されます（Jina の 2025 年のガイドでは 10 億トークンで $50 でしたが、現在の料金はダッシュボードの中でしか確認できません）。検索は 1 リクエストあたり最低 10,000 トークンかかります。商用ライセンスとオンプレミスライセンスは Elastic が年額で販売しています。
Airbyteリポジトリ	3.9/5	Airbyte は業務データを RAG のインデックスに取り込むためのオープンなカタログとして最も幅広いですが、AI 向けの転送先は ELT のコアに比べて遅れており、セルフホストするならセキュリティパッチを自分で抱えることになります。	多数の SaaS アプリやデータベースから RAG システムにデータを送り、セルフホストできる差分同期を求めるデータチーム。	セルフホストの Core は無料（MIT と ELv2）です。Cloud Standard は 5 クレジット付きで月 $20 から、Plus は 40 クレジットで月 $189 から 2,000 クレジットで $4,999 まで、Pro と Enterprise Flex は個別見積もりです。
Unstructuredリポジトリ	3.8/5	特殊なファイル形式を網羅する点では依然として最も広範ですが、開発元自身が有償版を利用すべき理由を示す数値を公表しています。	RAG向けに多様なドキュメント形式を取り込むETLパイプラインを構築するチームに適しています。	ライブラリはApache 2.0の下で無料です。ホステッドプラットフォームは10,000ページまで無料で、その後は1ページあたり$0.015です。VPCや専用デプロイメントを含むBusinessプランは個別見積もりとなります。
Obscuraリポジトリ	3.7/5	Obscura は大規模スクレイピングのメモリコストを下げる有望な手段ですが、エンジンは生後 6 か月、オーナーは匿名で、売り文句はステルスです。自分のテストの前に立たせるのではなく、テストの後ろに置くべきツールです。	多数の Chrome インスタンスにコストをかけていて、対象サイトを先に非 Chromium エンジンで検証できるスクレイピングチームやエージェント開発チームに向いています。	Apache-2.0 で無料です。Obscura Cloud（ホスト型、プロキシ付き）はウェイトリストのみで、料金は未定です。
ScrapeGraphAIリポジトリ	3.6/5	構造が乱雑なページから型定義された少数のフィールドを抽出する用途には適していますが、デフォルトでスクレイピングしたコンテンツが開発元へ送信される点と、ページごとにモデルの呼び出しコストがかかる点には注意が必要です。	多様なウェブページから適度な分量の型付きフィールドを抽出したい開発者に適しています。	ライブラリはMITライセンスで無料です。LLMのトークン料金は別途発生します。ホスト型APIは、初回限定の500無料クレジットが付与され、以降は月額$20、$100、$500のプランがあります。Enterpriseは個別見積もりです。

仕様の比較

このステップで重要な仕様です。2026年10月19日に確認しました。導入前に提供元のサイトで確認してください。

エージェントに接続する

Claude、ChatGPT、Cursor などのアシスタントがこれらのツールを直接使えるようにする MCP サーバーです。

• Apify MCP Server 4.1
• Firecrawl MCP 4.4
• Fetch (reference server) 3.7

このステージが使われる場面

• 文書とのチャット：まず Firecrawl から始めます。
• カスタマーサポートエージェント：まず Apify から始めます。
• コーディングエージェント：まず GitHub MCP Server から始めます。
• リサーチとナレッジグラフ：まず Crawl4AI から始めます。
• 長期記憶を持つアシスタント：まず Unstructured から始めます。
• 画像生成パイプライン：まず Firecrawl から始めます。
• 動画制作：まず Firecrawl から始めます。
• 音声エージェント：まず Firecrawl から始めます。
• プライベートなオンデバイスAI：まず Unstructured から始めます。
• 文書処理：まず Unstructured から始めます。
• 自社専用のファインチューニング済みモデル：まず Crawl4AI から始めます。
• ワークフロー自動化：まず Apify から始めます。

このガイドの出典

• firecrawl/firecrawl on GitHub
• unclecode/crawl4ai on GitHub
• Apify pricing
• Jina Reader
• airbytehq/airbyte on GitHub
• Airbyte docs: Pinecone destination
• ScrapeGraphAI/Scrapegraph-ai on GitHub
• Best open-source web scrapers in 2026 (Scrapfly)
• RFC 9309: Robots Exclusion Protocol