「うちのサイトもクロールバジェット対策をすべきでは」——SEO担当者の方からよく聞く相談です。
「クロールバジェット とは」で調べてこの記事にたどり着いた方の中には、自社サイトがそもそも対象になるのかどうか、気になっている方も多いのではないかと思います。
この記事は、クロールバジェットという言葉を今日はじめて調べた方に向けて書きました。Google検索セントラルの公式ガイドに立ち返り、GPTBotやClaudeBotなどAIクローラーが増えた今、何が変わり何が変わっていないかを整理します。
こんなふうに調べていませんか
- 「クロールバジェット とは」で検索して、自社が対象なのか知りたい
- AIクローラーが増えて、サーバー負荷が心配になっている
この記事を読み終えたときに手に入るもの
- クロールバジェットの意味を、人に説明できるようになります
- 自社サイトが対象かどうか、3条件で判断できます
- AIクローラーの負荷との違いが、図1枚で分かります
結論30秒でわかる、この記事の結論
- クロールバジェットとは、Googleが技術的にクロールでき、かつクロールしたいと考えるURLの集合です。
- Google公式は対象読者を3条件で示しており、多くのサイトはそもそも対象外だと述べています。
- AIクローラー（GPTBot・ClaudeBot等）が生むサーバー負荷とは、発生源も対策の窓口も異なる、別々の論点です。
この記事では、ある会社のマーケティング部の2人と、専門家の会話をはさみながら進めます。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「うちは対象になるんですか？」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01そもそもクロールバジェットとは、AI検索対策の文脈で何を指す言葉なんですか？
若葉さんあの、「クロールバジェット」って言葉、うちのサイトでも対策したほうがいいのか、正直よく分からなくて…。
鈴木さんそれ、多くの方が同じ疑問を持ちます。まず定義から確認しましょうか。Google公式は、対象になるサイトの条件をはっきり線引きしているんですよ。
Google検索セントラルの公式ガイド「クロール バジェットを最適化する」は、クロールバジェットをこのように定義しています。Googleが技術的にクロールでき、かつクロールしたいと考えるURLの集合です。この値は「クロール能力の上限」と「クロールの必要性」という2つの要素の掛け合わせで決まります。
引っ越し業者が1日に運べる荷物の総量は、トラックの台数や走れる距離（能力）と、運ぶ必要のある荷物の量（必要性）の掛け算で決まります。クロールバジェットも同じ構造です。どちらか一方だけでは決まりません。
02AI対策の担当者として、クロールバジェットを気にすべきサイトの条件は何ですか？
高梨課長それで、うちの会社のサイトは対象になるんでしょうか。正直、ページ数はそこまで多くないんですが。
鈴木さんGoogle公式は、3つの条件で対象読者を示しています。1つずつ確認しましょう。
Google公式は、対象読者を3つの条件で示しています。
- 重複のないページが100万以上あり、コンテンツが週1回程度の頻度で更新されるサイト
- 中規模以上（1万ページ以上）で、コンテンツが毎日のように頻繁に変わるサイト
- Search Consoleで「検出 - インデックス未登録」に分類されるURLの割合が大きいサイト
逆にいえば、この3条件のどれにも当てはまらないなら、対策の優先度は低いというのがGoogle公式の立場です。ページが公開当日にクロールされている実感があることも、同じ判断の目安になります。
この章のまとめ
3条件のどれにも当てはまらないなら、優先度は低いというのがGoogle公式の立場です。
03クロールバジェットが決まる2つの要因は、AI検索最適化ではどこを見るんですか？
3条件のいずれかに当てはまるサイトでは、クロールバジェットは次の2要素で決まります。
| 要素 | 何が含まれるか |
|---|---|
| クロール能力の上限 | サーバーの応答速度、5xx・429エラーの発生状況、Google全体のクロール資源配分 |
| クロールの必要性 | 認識される保有URL数（重複を除く）、相対的な人気度、コンテンツの鮮度 |
この章のまとめ
当てはまる場合は、クロール能力の上限とクロールの必要性の両方を点検します。片方だけを直しても、もう片方が頭打ちなら量は増えません。
04「AIクローラーのサーバー負荷」とは、AI対策の話としてクロールバジェットと何が違うんですか？
高梨課長最近AIのクローラーがよく来ている気がするんですが、これもクロールバジェットに関係あるんですか？
鈴木さんいえ、そこは別の話なんです。混同しやすいポイントなので、整理しますね。
クロールバジェットは、あくまでGoogle自身がクロールする量を指す、Google独自の用語です。一方、AIクローラー時代にはGooglebot以外の複数のクローラーもサイトへアクセスします。代表例はGPTBot・OAI-SearchBot・ClaudeBot・PerplexityBotです。事業者別の一覧は別記事『AIクローラー別robots.txt設計テンプレ集【2026年版】』で解説しています。
これらのアクセスはクロールバジェットの計算に含まれず、事業者ごとの方針で巡回した結果が合算した負荷として届きます。Cloudflare公式ブログ（2026年4月）は、AI由来の一括画像収集でWikimediaの帯域が50%急増した事例を報告しています。
この章のまとめ
クロールバジェットは、Google自身の巡回量だけを指す言葉です。GPTBotやClaudeBotのアクセスは、この計算に含まれません。
05AIクローラーとGooglebotで、クロールバジェットとAI検索対策の窓口はどう分かれるんですか？
同じ「クローラーへの対応」でも、見る相手と使える手段が変わります。4つの観点で並べます。
| 観点 | クロールバジェット | AIクローラーの負荷 |
|---|---|---|
| 主体 | Google単独 | GPTBot・ClaudeBot・PerplexityBot等、事業者ごとに別々 |
| 対象 | Googlebotのクロール量 | 複数クローラーの合算アクセスによる負荷全般 |
| 決まり方 | クロール能力の上限×クロールの必要性 | 事業者ごとの巡回ポリシーと自社サーバーの処理能力 |
| Crawl-delayへの対応 | 非対応 | Anthropicは対応。他社は確認できず |
両者は発生源も対策の窓口も異なるため、「AIクローラー対策」と「クロールバジェット対策」は別々に検討する必要があります。
この章のまとめ
クロールバジェットはGoogle単独の概念。AIクローラーの負荷は事業者ごとに別々に発生します。対策の窓口も分けて考えます。
06AI検索最適化の実務では、クロールバジェットのどこに気をつければいいんですか？
若葉さんそれで、私たちが実際に確認すべきことって、何になりますか？
鈴木さん3つの場面に整理できます。これはAI検索最適化（LLMOとも呼ばれます）の実務でも共通するポイントです。順番に見ていきましょう。
- 大規模サイトでのクロール状況点検: 前章の3条件に当てはまる場合、Search Consoleの「ページ」レポートで公開日とクロール日の差や「検出 - インデックス未登録」の件数を確認します
- サーバーエラー・レート制限シグナルの点検: Google公式は、緊急でクロール量を減らしたい場合に5xx・429のHTTPステータスコードを返す方法を案内しています。恒常的な抑制には別途、特別なリクエストの手続きが必要とされています
- AIクローラーのアクセス増への対応: 複数のAIクローラーがアクセスするため、Googlebot分と合算したサーバー負荷の把握が必要です。可視化の手順は別記事『サーバーログ解析でAIクローラーを可視化する｜IP検証まで実装する』で解説しています。ClaudeBotは非標準のCrawl-delayディレクティブに対応し、アクセス間隔を指定できます。GPTBot・OAI-SearchBot・PerplexityBotの公式ドキュメントには、同様の記載を確認できていません
07クロールバジェットとLLMO対策で、混同しがちな誤解は何ですか？
若葉さんあ、じゃあAIクローラーが増えたぶん、うちのクロールバジェットも厳しくなってる、ってことはないんですか？
鈴木さんそこ、よく混同されるんですが、直接の関係はないんです。整理しておきますね。
「ページ数が少なくても、クロールバジェット対策は早めにやるべき」という誤解があります。Google公式は対象読者を大規模・高頻度更新のサイトに限定しており、前章の3条件に当てはまらないなら優先すべきは他の施策です。優先順位を間違えると、本来注力すべきコンテンツ品質やE-E-A-Tへの投資を後回しにしてしまいます。
「AIクローラーが増えたから、クロールバジェットが厳しくなった」という誤解もあります。クロールバジェットはGoogle自身の巡回量を指す概念で、GPTBotやClaudeBotなど他社クローラーのアクセス量は計算に含まれません。サーバー負荷の実感があっても、原因の特定と対策はクロールバジェットとは別の窓口で進める必要があります。
08よくある質問
自社サイトはクロールバジェットを気にすべきですか？
重複のないページが100万以上で週1回程度の更新、または1万ページ以上で毎日のように更新している場合は対象です。いずれにも当てはまらないなら、Google公式の立場では優先度は低いといえます。
クロールバジェットを増やすことはできますか？
Google公式は、クロール量の恒久的な引き上げをリクエストする窓口を案内していません。実務で有効なレバーは、重複ページを減らす、更新頻度と鮮度を高める、5xx・429エラーを減らすといった、サイト側の改善です。
AIクローラーへの対応を強化すれば、クロールバジェットも改善しますか？
直接の関係はありません。クロールバジェットはGoogle自身の巡回量を指し、GPTBotやClaudeBotのアクセス量とは別に計算されます。サーバー負荷が下がれば、クロール能力の上限に良い影響が出る可能性はあります。
ClaudeBotとGPTBotで、対応方法は違いますか？
異なる点があります。ClaudeBotは非標準のCrawl-delayディレクティブに対応し、アクセス間隔を指定できます。GPTBot・OAI-SearchBot・PerplexityBotの公式ドキュメントには、同様の記載を確認できていません。事業者別の設定方法は、別記事『AIクローラー別robots.txt設計テンプレ集【2026年版】』にまとめています。
09まとめ｜今日から確認できる3つのこと
クロールバジェットとは、Googleが技術的にクロールでき、かつクロールしたいと考えるURLの集合です。多くのサイトはそもそも対象外で、AIクローラーが生むサーバー負荷とは、発生源も対策の窓口も異なる別々の論点です。
もう一度、今日から確認できる3つ
3条件に当てはまるかを確認する
100万ページ以上・1万ページ以上・「検出-インデックス未登録」の割合を見ます
サーバーエラーを点検する
5xx・429エラーの発生状況を確認します
AIクローラーの合算負荷を把握する
GooglebotとAIクローラーを分けて、それぞれの窓口で対応します
AI検索では、こう聞かれています
クロールバジェットって何ですか？
「そもそもクロールバジェットとは、AI検索対策の文脈で何を指す言葉なんですか？」の章で、定義とたとえで説明しています
自社サイトはクロールバジェットを気にすべきですか？
「AI対策の担当者として、クロールバジェットを気にすべきサイトの条件は何ですか？」の章に、3条件をまとめています
AIクローラーが増えると、クロールバジェットも厳しくなりますか？
「『AIクローラーのサーバー負荷』とは、AI対策の話としてクロールバジェットと何が違うんですか？」の章で、図と表を使って説明しています
次に読むなら、この記事です
