AIのためのWebクローリング
AIのためのWebクローリング(web crawling)とは、リンクやURLのリストをたどってWebページを自動的に取得し、モデルの学習、検索インデックスの構築、アプリケーションが検索する新しいコンテンツの提供のためにテキストを集めることです。
別名: crawler, web scraping
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
多くのAIアプリケーションは、最新のWebコンテンツを必要とします。製品のドキュメントを知っているサポートボット、リサーチエージェント、事前学習用のデータセットなどです。そうしたコンテンツを大規模に集める方法がクローリングです。
仕組み
クローラーはシードURLから始め、各ページを取得し、リンクを抽出して新しいものをキューに加えます。検索のクローラーは、すでに取得したページのリンクをたどることで、ほとんどのURLをこの方法で発見します。AIで使う場合、クローラーはその後、ナビゲーションや広告を取り除き、必要に応じてJavaScriptをレンダリングし、ページをチャンキングに使えるきれいなテキストやMarkdownに変換します。FirecrawlやCrawl4AIなどのツールは、これらのステップをまとめて提供しています。
クローリングとスクレイピングは重なり合います。クローリングは通常、多くのページを発見して取得することを指し、スクレイピングはページから特定のフィールドやテキストを抜き出すことを指します。大規模な公開のクロールもあります。Common Crawlは無料のオープンなアーカイブを公開しており、多くの学習データセットがそれを利用しています。
ルールとマナー
サイトの所有者は、Robots Exclusion Protocolで定められたrobots.txtで、クローラーが何を取得してよいかを示します。これらのルールはお願いであってアクセス制御ではないため、守るかどうかはクローラー次第です。モデルを最も役立つページに案内するllms.txtファイルを公開しているサイトもあります。AI企業が運用するクローラーについてはAIクローラーで扱っています。集めたものを再利用する前に、サイトの利用規約と著作権の扱いを確認してください。データ取り込みのガイドでクローリングツールを比較しています。
関連用語
- llms.txt
- llms.txtとは、Webサイトが通常/llms.txtにMarkdownファイルを公開し、サイトの概要と最も役立つページへのリンクを言語モデルが読みやすい形で示すという、提案段階の慣行です。
- AI クローラー
- AI クローラー(AI crawler)とは、AI 企業が運用する自動化されたボットです。ウェブページを取得して、学習データを集めたり、AI 検索のインデックスを作ったり、ユーザーがアシスタントにページについて尋ねたときにその場でページを取り出したりします。
- AI 学習データ
- AI 学習データ(AI training data)とは、ウェブのテキスト、コード、画像、書き起こし、ラベル付きのペアなど、モデルが学習に使う例の集まりです。その規模、品質、構成、ライセンスによって、モデルにできることと失敗する場面が決まります。
- チャンキング
- チャンキング(chunking)とは、長い文書を埋め込みとインデックス化の前に小さな文章のまとまりに分割する手順です。検索システムは、文書のうちクエリに答える部分だけを見つけて返せるようになります。
- 検索拡張生成(RAG)
- 検索拡張生成(retrieval-augmented generation、RAG)とは、システムがまず文書の集まりから質問に関連する文章を検索し、その文章を言語モデルに渡して、それに基づいて回答させるパターンです。