AI クローラー
AI クローラー(AI crawler)とは、AI 企業が運用する自動化されたボットです。ウェブページを取得して、学習データを集めたり、AI 検索のインデックスを作ったり、ユーザーがアシスタントにページについて尋ねたときにその場でページを取り出したりします。
別名: GPTBot, ClaudeBot, PerplexityBot, AI bot
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
サイト運営者のサーバーログには、GPTBot、ClaudeBot、PerplexityBot などのボットがますます多く現れています。各ボットはユーザーエージェント文字列で名乗っており、どれが何をするのかを知ることで、サイトのコンテンツがモデルの学習に使われるのか、AI の回答に表示されるのか、どちらでもないのかが決まります。
3 種類のボット
AI 企業は目的ごとにボットを分ける傾向があります。OpenAI の GPTBot や Anthropic の ClaudeBot などの学習用クローラーは、AI 学習データに入る可能性のあるページを集めます。OAI-SearchBot、Claude-SearchBot、PerplexityBot などの検索用クローラーは、AI 検索エンジンが引用できるようにページをインデックスします。ChatGPT-User や Claude-User などのユーザー起点の取得ボットは、人がアシスタントにページを読むよう頼んだときに、そのページ 1 つを読み込みます。OpenAI は、ユーザーが始めた取得には robots.txt のルールが適用されない場合があると説明しています。
アクセスの制御
主な制御手段は robots.txt です。`User-agent: GPTBot` の後に `Disallow: /` と書くと、そのボットに近づかないよう求めることになります。ボットごとに個別に設定する ので、学習はブロックしつつ検索は許可することもできます。OpenAI は、GPTBot を拒否すればコンテンツを学習に使うべきではないという意思表示になると述べています。Robots Exclusion Protocol はあくまでお願いであってアクセス制御ではないため、これを無視するクローラーにはファイアウォールやボット管理が必要です。llms.txt ファイルは別の考え方で、モデルに有用なページを示すだけで、何もブロックしません。
なぜ重要か
検索用クローラーをブロックすると、サイトが AI の回答に表示されなくなることがあり、生成エンジン最適化に影響します。学習用クローラーのブロックが影響するのは、今後の学習だけです。クローラー全般の仕組みは AI のためのウェブクローリングをご覧ください。
関連用語
- AIのためのWebクローリング
- AIのためのWebクローリング(web crawling)とは、リンクやURLのリストをたどってWebページを自動的に取得し、モデルの学習、検索インデックスの構築、アプリケーションが検索する新しいコンテンツの提供のためにテキ ストを集めることです。
- llms.txt
- llms.txtとは、Webサイトが通常/llms.txtにMarkdownファイルを公開し、サイトの概要と最も役立つページへのリンクを言語モデルが読みやすい形で示すという、提案段階の慣行です。
- AI 学習データ
- AI 学習データ(AI training data)とは、ウェブのテキスト、コード、画像、書き起こし、ラベル付きのペアなど、モデルが学習に使う例の集まりです。その規模、品質、構成、ライセンスによって、モデルにできることと失敗する場面が決まります。
- AI 検索エンジン
- AI 検索エンジン(AI search engine)とは、クエリに対してウェブ検索を行い、言語モデルで結果を読み、リンクの一覧だけでなく、情報源へのリンク付きの文章で回答を返す検索サービスです。
- 生成エンジン最適化(GEO)
- 生成エンジン最適化(generative engine optimization、GEO)とは、AI 検索エンジンやチャットアシスタントがウェブのコンテンツを見つけ、生成する回答の中で引用し、出典として示すように、コンテンツを整える取り組みです。