AIクローラー別robots.txt設計テンプレ集【2026年版】

「robots.txtにAIクローラー、結局何を書けばいいのか分からない」というWeb担当者の方は多いのではないでしょうか。OpenAI・Anthropic・Perplexity・Googleは、学習用・検索表示用・ユーザー起点用で異なるクローラーを公開しています。本記事は、7つの組織・14種類のクローラーを一次情報から整理し、目的別に選べる3つのrobots.txt設計テンプレートを提供します。コピーしてそのまま使える実装例として活用できます。

01この記事でわかること

• 主要AI事業者7組織・14種のクローラーの役割とrobots.txt遵守状況の一覧
• 「AI全面開放」「学習だけ拒否」「AI全面拒否」3パターンのrobots.txt実装テンプレート
• ChatGPT-User・Perplexity-Userなど、ユーザー操作起点のボットがrobots.txtで制御しきれない理由
• 設定後の反映確認手順とIPアドレスによるなりすまし対策

03AIクローラーとは（基礎定義）

引用されやすい定義文

AIクローラーとは、AI事業者がサイトを巡回し学習・検索表示・応答に使うプログラムの総称です。

AI検索エンジンやチャットボットを提供する事業者は、自社サービスに関連する複数のボットを公開しています。役割は大きく3つに分かれます。

• モデルの学習データを収集するボット
• AI検索結果への表示のために巡回するボット
• ユーザーの質問時にその場でアクセスするボット

GPTBot・ClaudeBot・PerplexityBotのような「〜Bot」という名前でも、この3つのどれに当たるかで扱いが変わります。次章で、事業者別に一覧比較します。

04事業者別・AIクローラー一覧｜用途とrobots.txtの扱い

主要なAI事業者は、それぞれ複数のクローラー・エージェントを公開しています。OpenAI・Anthropic・Perplexity・Googleの4社が中心です。加えて、学習データの供給元として無視できないCommon Crawl・Apple・Metaも含めました。合計7つの組織・14種類のクローラーを整理しています。

なおOpenAIの3種については、別記事『GPTBot・OAI-SearchBot・ChatGPT-User比較』でさらに詳しく解説しています。

この表からわかる通り、AIクローラーは3系統に整理できます。

• 学習用: GPTBot・ClaudeBot・Google-Extended・CCBot・Applebot-Extended・Meta-ExternalAgent
• 検索表示用: OAI-SearchBot・Claude-SearchBot・PerplexityBot・Googlebot
• ユーザー起点用: ChatGPT-User・Claude-User・Perplexity-User・Meta-ExternalFetcher

次章で、この3系統をふまえた設定テンプレートを紹介します。

05目的別に選ぶrobots.txt設計テンプレート3パターン

自社の方針によって、選ぶべきrobots.txt設定は変わります。ここでは3つの代表パターンを、コピーしてそのまま使えるテンプレートとして紹介します。それぞれの「帰結」もあわせて確認してください。

テンプレート①: AI全面開放型（学習・検索表示・ユーザー応答をすべて許可）

認知拡大やAI検索経由の流入を最優先する場合の設定です。

# 学習用クローラー
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

# 検索表示用クローラー
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# ユーザー操作起点のエージェント
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

帰結: コンテンツはすべてのAI事業者の学習データに利用される可能性があります。ChatGPT Search・Claude・Perplexity・AI Overviewsなど、AI検索の各結果にも表示されます。ユーザーが個別にURLを尋ねた際のアクセスも許可されます。robots.txtに何も書かない場合も、多くのクローラーは許可された状態として扱われる点に注意してください。

テンプレート②: 学習だけ拒否・AI検索表示は許可型

学習データとしての利用は避けつつ、AI検索経由の露出は維持したい場合の設定です。多くの企業にとって現実的な折衷案です。

# 学習用クローラーだけ拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# 検索表示用クローラーは許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# ユーザー操作起点のエージェントも許可
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

帰結: モデルの学習データとしては利用されなくなります。一方、ChatGPT Search・Claude・Perplexity・AI Overviewsへの表示は維持されます。ユーザーが個別に質問した際のアクセスも許可されたままです。ただしChatGPT-UserとPerplexity-Userは、ユーザー操作起点のためDisallowを書いても完全に防げるとは限りません（詳細は次章）。

テンプレート③: AI全面拒否型

AI事業者へのコンテンツ提供を最小化したい場合の設定です。ただし完全な遮断を保証するものではありません。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Disallow: /

# 通常のGoogle検索用Googlebotは対象に含めていません
# Googlebotを拒否するとGoogle検索結果全体から除外されます

帰結: 学習データには使われず、AI検索各社の検索結果にも表示されなくなります（建前上）。ただしChatGPT-UserとPerplexity-Userは、robots.txtだけで確実に防げるとは限りません。確実な遮断を求める場合は、次章のIPアドレス照合など追加の対策もあわせて検討してください。

なおGooglebot自体は、このテンプレートにあえて含めていません。Googlebotを拒否すると、AI関連機能だけでなくGoogle検索結果全体から除外されるためです。

自社の判断は、次の表でも整理できます。

06「ユーザー操作起点」のクローラーはrobots.txtが効かない場合がある

ChatGPT-User・Perplexity-User・Meta-ExternalFetcherは、ユーザーがAIに質問した瞬間に該当ページへアクセスする仕組みです。GPTBot等の自動巡回クローラーとは動作が異なります。

OpenAIは公式ドキュメントで次のように説明しています。

引用されやすい定義文

"Because these actions are initiated by a user, robots.txt rules may not apply."（ユーザーが開始した操作のため、robots.txtのルールが適用されない場合がある）

Perplexityは、より踏み込んだ表現を使っています。

引用されやすい定義文

"Since a user requested the fetch, this fetcher generally ignores robots.txt rules."（ユーザーがリクエストしたため、このフェッチャーは一般的にrobots.txtルールを無視する）

この2社は、ユーザー操作起点のアクセスについてrobots.txtの効力を明確に留保しています。

一方、Anthropicの説明は異なります。

引用されやすい定義文

"Anthropic's Bots respect 'do not crawl' signals by honoring industry standard directives in robots.txt"（Anthropicのボットは、業界標準のrobots.txtディレクティブを尊重し「クロールしない」というシグナルに従う）

この原則はClaudeBot・Claude-SearchBot・Claude-Userの3種に共通して適用されるとAnthropicは説明しています。ChatGPT-UserやPerplexity-Userのような、ユーザー起点だから適用されないという明確な例外は、確認した公式ページには記載されていませんでした。

同じ「ユーザーの質問時に個別アクセスする」仕組みでも、事業者によってrobots.txtの扱いの説明は異なります。過信は禁物です。実務では、次の2点を踏まえて設計することをおすすめします。

• 「学習だけ拒否」「全面拒否」を選んでも、ChatGPT-UserとPerplexity-Userのアクセス自体をrobots.txtだけで確実に防げるとは限らない
• 特定ページへのアクセスを確実に止めたい場合は、公開IPアドレスと照合するなど、robots.txt以外の対策もあわせて検討する

07IPアドレス照合となりすまし対策

User-Agent文字列は誰でも詐称できます。真偽を確認したい場合は、各社が公開するIPアドレス一覧との照合が有効です。

Anthropicは、IPアドレスでのブロックを推奨していません。robots.txtを読み取れなくなり、かえってオプトアウトの意思を伝えられなくなるためです。IPアドレスは、あくまで真偽の確認用と位置づけられています。

一方OpenAIは、OAI-SearchBotについてrobots.txtでの許可に加え、公開IPレンジからのアクセスも許可することを推奨しています。同じIPアドレス情報でも、事業者によって推奨する使い方が異なる点に注意してください。

08Common Crawl・Apple・Metaなど、押さえておきたい周辺クローラー

OpenAI・Anthropic・Perplexity・Google以外にも、robots.txt設計で押さえておきたいクローラーがあります。

Common Crawl（CCBot）: 非営利団体が運営する、オープンなWebアーカイブです。多くのAI事業者が学習データの構築に利用しているとされ、間接的な影響力があります。robots.txtを遵守し、User-agent「CCBot」のDisallowで拒否できます。

Apple（Applebot-Extended）: Apple IntelligenceなどAppleの生成AI学習向けの制御トークンです。通常のApplebot（Siri・Spotlight・Safari提案等に使用）とは独立しています。Applebot-Extendedを拒否しても、Apple製品の検索関連機能から除外されるわけではありません。（このApple公式ページは長文のため、本記事では要旨のみ確認できました。）

Meta: クローラーはMeta-ExternalAgentとMeta-ExternalFetcherの2種です。前者はモデル学習とコンテンツ改善に使われ、robots.txtを遵守します。Meta-ExternalFetcherはユーザーの要求による個別取得です。公式ドキュメントは「ロボット除外ファイルの規則をバイパスする可能性がある」としています。

09設定後の確認手順と見直しの頻度

robots.txtを変更しても、すぐに反映されるとは限りません。OpenAIのOAI-SearchBotは、反映まで最大24時間程度かかるとされています。設定後は、以下の手順で確認することをおすすめします。

1. robots.txtを編集し、保存する
2. 半日〜1日程度、時間をおく
3. アクセスログで対象UAトークンからのアクセス有無を確認する
4. 必要に応じて、公開IPアドレスと照合し、なりすましでないか確認する
5. AI活用方針の変更時や、各社の公式ドキュメント更新時に、設定を見直す

各社のクローラー仕様は改訂される可能性があります。本記事のテンプレートを設置した後も、定期的に一次情報を確認することをおすすめします。

10チェックリスト

• 学習用・検索表示用・ユーザー起点用の3系統を区別してrobots.txtを設定している
• Googlebot本体を誤ってDisallowにしていないか確認した
• 「AI」とつくクローラーを一括りにDisallowしていないか確認した
• ChatGPT-User・Perplexity-Userはrobots.txtだけで完全に防げるとは限らない点を理解している
• Anthropicの3ボット（ClaudeBot・Claude-SearchBot・Claude-User）を個別に設定している
• robots.txt変更後、反映までに時間がかかることを踏まえて確認している
• 主要クローラーの公開IPアドレス確認先を把握している

11よくある失敗

AIクローラーのrobots.txt設計では、以下のような失敗が見られます。

Googlebotまで誤ってDisallowにしてしまう。「AI対策」のつもりでGoogle-Extendedと一緒にGooglebot自体まで拒否し、Google検索結果全体から除外されるケースです。Googlebotとの独立性を理解した上で設定することが重要です。

「AI」を名乗るクローラーを一括りにDisallowする。GPTBotとOAI-SearchBotを区別せず両方拒否し、意図せずChatGPT Searchでの表示機会を失うケースがあります。事業者ごとに、学習用と検索表示用のUser-agent行を分けて設定することが必要です。

ユーザー起点のクローラーをrobots.txtだけで防げると思い込む。ChatGPT-UserとPerplexity-Userは、Disallowを書いても公式にrobots.txtが適用されない場合があると明記されています。特定ページへのアクセス自体を防ぎたい場合は、robots.txt以外の対策もあわせて検討する必要があります。

12FAQ

13まとめ

AIクローラーは、学習用・検索表示用・ユーザー起点用の3系統に分けて理解すると整理しやすくなります。GPTBot・ClaudeBot・Google-Extendedなどは学習用です。OAI-SearchBot・Claude-SearchBot・PerplexityBotなどは検索表示用です。どちらもrobots.txtで確実に制御できます。

一方、ChatGPT-UserとPerplexity-Userはユーザー操作起点のため、robots.txtのルールが適用されない場合がある点に注意が必要です。まずは自社のrobots.txtを開き、本記事の3テンプレートとチェックリストで、意図した設定になっているか確認することをおすすめします。

14この分野を体系的に学ぶ