「robots.txtにAIクローラーの設定を書いておいて」と言われたものの、いざ調べ始めると、GPTBot、ClaudeBot、PerplexityBot、Google-Extended……と、聞いたことのない名前が次々に出てきて、どこから手をつければいいか分からなくなった。
そんな状態でこの記事にたどり着いた方が多いのではないかと思います。
この記事は、robots.txtにAIクローラーの行を書く必要がある方を想定して書きました。OpenAI・Anthropic・Perplexity・Googleを中心に、Common Crawl・Apple・Metaまで含めた7つの組織・14種類のクローラーを一次情報から整理し、そのままコピーして使える3パターンのrobots.txtテンプレートまで、図解と会話をはさみながら解説します。robots.txtの設計は、AI検索最適化（LLMOとも呼ばれます）の土台にあたる作業です。
こんなふうに調べていませんか
- 「robots.txt AIクローラー」で調べたら、聞いたことのない名前がたくさん出てきて心が折れた
- 上司から「AIには全部見せないようにしといて」と言われたが、具体的に何を書けばいいか分からない
- ChatGPTに「うちのrobots.txtってこれで合ってますか」と聞いたが、答えに自信が持てなかった
この記事を読み終えたときに手に入るもの
- 7組織14種のAIクローラーを、学習用・検索表示用・ユーザー起点用の3系統で整理して説明できるようになります
- 自社の方針に合わせて、3パターンのrobots.txtテンプレートからそのまま設定できます
- robots.txtだけでは止まらないクローラーがあることを理解し、次にやるべき対策が分かります
結論30秒でわかる、この記事の結論
- AIクローラーは、学習用・検索表示用・ユーザー起点用の3系統に分かれます。 事業者ごとにUser-Agentが違うので、まず系統で覚えます。
- robots.txtの設定は3パターンから選べます。①全面開放 ②学習だけ拒否 ③全面拒否。自社の方針次第です。
- ただし、ChatGPT-UserやPerplexity-Userのような「ユーザー起点」のクローラーは、robots.txtを書いても止まらない場合があると公式に明記されています。
この記事では、ある会社のマーケティング部の2人と、外部コンサルタントの会話をはさみながら進めます。あなたに近い立場の人の質問から読んでいただいて構いません。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「誰が、どう設定するんですか？」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01そもそもAIクローラーって、AI検索対策では何種類を見ればいいんですか？
若葉さんそもそもなんですが……robots.txtに書く「AIクローラー」って、そんなにたくさんあるんですか？名前を見てもGPTBotとかClaudeBotとか、正直覚えられる気がしません……。
鈴木さんはい、そこは多くの方がつまずくポイントです。数だけ見ると多いんですが、役割で3つに分ければ、一気に整理できます。
AI検索エンジンやチャットボットを提供する事業者は、それぞれ複数のクローラー・エージェントを公開しています。「AIクローラー」とひとことで言っても、実はやっていることが違います。役割は大きく次の3つに分かれます。
- モデルの学習データを収集するボット
- AI検索結果への表示のために巡回するボット
- ユーザーの質問時に、その場でアクセスするボット
GPTBot・ClaudeBot・PerplexityBotのような「〜Bot」という名前でも、この3つのどれに当たるかで、robots.txtでの扱いが変わってきます。
この章のまとめ
AIクローラーは事業者ごとにUser-Agentが違いますが、役割は3つ（学習用・検索表示用・ユーザー起点用）に集約できます。
02AI対策としてrobots.txtに書くAIクローラーは、全部で何組織・何種類あるんですか？
主要なAI事業者は、それぞれ複数のクローラー・エージェントを公開しています。中心になるのはOpenAI・Anthropic・Perplexity・Googleの4社です。加えて、学習データの供給元として無視できないCommon Crawl・Apple・Metaも含めると、合計7つの組織・14種類のクローラーになります。
なおOpenAIの3種については、GPTBot・OAI-SearchBot・ChatGPT-User比較でさらに詳しく解説しています。
| 事業者 | クローラー / UA | 主な用途 | 学習データ利用 | robots.txtの扱い |
|---|---|---|---|---|
| OpenAI | GPTBot | モデル学習用のデータ収集 | される | 遵守する |
| OpenAI | OAI-SearchBot | ChatGPT Searchの検索結果表示 | されない | 遵守する（反映まで最大24時間程度） |
| OpenAI | ChatGPT-User | ユーザーの質問時に都度アクセス | されない | 適用されない場合がある（公式明記） |
| Anthropic | ClaudeBot | モデル学習・安全性向上 | される | 遵守する |
| Anthropic | Claude-SearchBot | Claude検索結果の品質向上 | されない | 遵守する |
| Anthropic | Claude-User | ユーザーの質問時にページ取得 | されない | 遵守する（公式に例外の明記なし） |
| Perplexity | PerplexityBot | 検索結果への表示用巡回 | されない | 遵守する |
| Perplexity | Perplexity-User | ユーザーの質問時に都度アクセス | されない | 一般的に無視する（公式明記） |
| Googlebot | 検索インデックス全般・AI Overviews | されない（Gemini学習は別枠） | 遵守する（拒否でGoogle検索全体から除外） | |
| Google-Extended | Geminiアプリ・Vertex AI向け学習 | される | 遵守する（検索順位への影響なし） | |
| Common Crawl | CCBot | オープンアーカイブ収集（複数社が再利用） | される（間接的） | 遵守する |
| Apple | Applebot-Extended | Apple Intelligence等の生成AI学習 | される | 遵守する（Applebotとは独立制御） |
| Meta | Meta-ExternalAgent | モデル学習・製品改善 | される | 遵守する |
| Meta | Meta-ExternalFetcher | ユーザー要求による個別リンク取得 | されない | バイパスする可能性（公式記載） |
0314種のAIクローラーのうち、学習に使われるのはどれで、AI検索の表示用はどれですか？
上の表の右から2列目「学習データ利用」に注目すると、この14種はもう一段シンプルに整理できます。
学習データに使われるのは、GPTBot・ClaudeBot・Google-Extended・CCBot・Applebot-Extended・Meta-ExternalAgentの6種です。残りの8種（OAI-SearchBot・ChatGPT-User・Claude-SearchBot・Claude-User・PerplexityBot・Perplexity-User・Googlebot・Meta-ExternalFetcher）は、検索表示やユーザー応答のためのアクセスであり、学習データには使われません。
この章のまとめ
14種類あっても、見るべき軸は「学習に使われるか」と「どの役割か」の2つだけです。表を丸暗記する必要はありません。
04結局、どのrobots.txtがAI対策として正解なんですか？
高梨課長鈴木さん、仕組みは分かりました。それで、うちの場合、結局どのパターンで書けばいいんでしょうか。判断基準を教えてください。
鈴木さん大丈夫です。判断基準は2つだけです。「学習データに使われたくないか」と「AI検索での露出は残したいか」。この組み合わせで、選ぶテンプレートが決まります。
自社の方針によって、選ぶべきrobots.txt設定は変わります。ここでは3つの代表パターンを、コピーしてそのまま使えるテンプレートとして紹介します。
05AI検索に全面開放したい場合、robots.txtはどう書きますか？（テンプレート①）
認知拡大やAI検索経由の流入を最優先する場合の設定です。
# 学習用クローラー
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
# 検索表示用クローラー
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# ユーザー操作起点のエージェント
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /帰結: コンテンツはすべてのAI事業者の学習データに利用される可能性があります。ChatGPT Search・Claude・Perplexity・AI Overviewsなど、AI検索の各結果にも表示されます。ユーザーが個別にURLを尋ねた際のアクセスも許可されます。robots.txtに何も書かない場合も、多くのクローラーは許可された状態として扱われる点に注意してください。
06学習だけ拒否してAI検索表示は残したい場合、robots.txtはどう書きますか？（テンプレート②）
学習データとしての利用は避けつつ、AI検索経由の露出は維持したい場合の設定です。多くの企業にとって現実的な折衷案です。
# 学習用クローラーだけ拒否
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
# 検索表示用クローラーは許可
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# ユーザー操作起点のエージェントも許可
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /帰結: モデルの学習データとしては利用されなくなります。一方、ChatGPT Search・Claude・Perplexity・AI Overviewsへの表示は維持されます。ユーザーが個別に質問した際のアクセスも許可されたままです。ただしChatGPT-UserとPerplexity-Userは、ユーザー操作起点のためDisallowを書いても完全に防げるとは限りません（この後の章で説明します）。
07AI対策として全面拒否したい場合、robots.txtはどう書きますか？（テンプレート③）
AI事業者へのコンテンツ提供を最小化したい場合の設定です。ただし完全な遮断を保証するものではありません。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Perplexity-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Meta-ExternalFetcher
Disallow: /
# 通常のGoogle検索用Googlebotは対象に含めていません
# Googlebotを拒否するとGoogle検索結果全体から除外されます帰結: 学習データには使われず、AI検索各社の検索結果にも表示されなくなります（建前上）。ただしChatGPT-UserとPerplexity-Userは、robots.txtだけで完全に防げるとは限りません。より強い遮断を求める場合は、後述のIPアドレス照合など追加の対策もあわせて検討してください。
なおGooglebot自体は、このテンプレートにあえて含めていません。Googlebotを拒否すると、AI関連機能だけでなくGoogle検索結果全体から除外されるためです。
この章のまとめ
判断基準は「学習データ利用を避けたいか」と「AI検索表示を維持したいか」の2つ。多くの企業にとって現実的な折衷案は、テンプレート②（学習だけ拒否）です。
08ユーザー起点のAIクローラーは、AI検索対策のrobots.txtでも止まらないんですか？
若葉さんえ、robots.txtに書いても止まらないボットがあるんですか……？せっかく設定したのに、意味ないってことでしょうか。
鈴木さん意味がないわけではないんですが、正直に言うと、一部のクローラーには限界があるんですよ。
ChatGPT-User・Perplexity-User・Meta-ExternalFetcherは、ユーザーがAIに質問した瞬間に該当ページへアクセスする仕組みです。GPTBot等の自動巡回クローラーとは動作が異なります。
OpenAIは公式ドキュメントで次のように説明しています。
"Because these actions are initiated by a user, robots.txt rules may not apply."（ユーザーが開始した操作のため、robots.txtのルールが適用されない場合がある）
Perplexityは、より踏み込んだ表現を使っています。
"Since a user requested the fetch, this fetcher generally ignores robots.txt rules."（ユーザーがリクエストしたため、このフェッチャーは一般的にrobots.txtルールを無視する）
この2社は、ユーザー操作起点のアクセスについてrobots.txtの効力を明確に留保しています。
一方、Anthropicの説明は異なります。
"Anthropic's Bots respect 'do not crawl' signals by honoring industry standard directives in robots.txt"（Anthropicのボットは、業界標準のrobots.txtディレクティブを尊重し「クロールしない」というシグナルに従う）
この原則はClaudeBot・Claude-SearchBot・Claude-Userの3種に共通して適用されるとAnthropicは説明しています。ChatGPT-UserやPerplexity-Userのような、ユーザー起点だから適用されないという明確な例外は、確認した公式ページには記載されていませんでした。
09止まらないAIクローラーがあるなら、AIO実務ではどう設計すればいいですか？
同じ「ユーザーの質問時に個別アクセスする」仕組みでも、事業者によってrobots.txtの扱いの説明は異なります。過信は禁物です。 実務では、次の2点を踏まえて設計することをおすすめします。
- 「学習だけ拒否」「全面拒否」を選んでも、ChatGPT-UserとPerplexity-Userのアクセス自体をrobots.txtだけで完全に防げるとは限らない
- 特定ページへのアクセスをしっかり止めたい場合は、公開IPアドレスと照合するなど、robots.txt以外の対策もあわせて検討する
この章のまとめ
「ユーザー起点」のクローラーは、robots.txtだけに頼らないのが実務上の前提です。OpenAIとPerplexityは適用の留保を明記し、Anthropicは3ボット共通で尊重するとしています。
10AIクローラーのなりすましは、AI検索対策としてどう見分けるんですか？
高梨課長robots.txtの設定は分かりました。ただ、User-Agentって書き換えられるものですよね。本当にそのクローラーからのアクセスかどうか、確かめる方法はあるんでしょうか。
鈴木さんいい着眼点です。User-Agent文字列は誰でも詐称できるので、真偽を確認したいときは、各社が公開しているIPアドレス一覧との照合が有効です。
| 事業者 | IPアドレス確認先 |
|---|---|
| OpenAI | ボットごとにJSON公開（例: openai.com/gptbot.json） |
| Anthropic | claude.com/crawling/bots.json（3ボット共通） |
| Perplexity | ボットごとにJSON公開（例: perplexity.com/perplexitybot.json） |
| Common Crawl | 専用IPレンジ＋逆引きDNS、index.commoncrawl.org/ccbot.json |
11robots.txtではなくIPアドレスでブロックするのは、LLMOとしてやっていいことなんですか？
Anthropicは、IPアドレスでのブロックを推奨していません。robots.txtを読み取れなくなり、かえってオプトアウトの意思を伝えられなくなるためです。IPアドレスは、あくまで真偽の確認用と位置づけられています。
一方OpenAIは、OAI-SearchBotについてrobots.txtでの許可に加え、公開IPレンジからのアクセスも許可することを推奨しています。同じIPアドレス情報でも、事業者によって推奨する使い方が異なる点に注意してください。
この章のまとめ
User-Agentは詐称できるため、真偽をしっかり確かめたいときはIPアドレス照合が有効です。ただしAnthropicはIPブロック自体は推奨していません。
12Common Crawl・Apple・MetaのAIクローラーも、AI検索最適化では押さえておくべきですか？
OpenAI・Anthropic・Perplexity・Google以外にも、robots.txt設計で押さえておきたいクローラーがあります。
Common Crawl（CCBot）: 非営利団体が運営する、オープンなWebアーカイブです。多くのAI事業者が学習データの構築に利用しているとされ、間接的な影響力があります。robots.txtを遵守し、User-agent「CCBot」のDisallowで拒否できます。
Apple（Applebot-Extended）: Apple IntelligenceなどAppleの生成AI学習向けの制御トークンです。通常のApplebot（Siri・Spotlight・Safari提案等に使用）とは独立しています。Applebot-Extendedを拒否しても、Apple製品の検索関連機能から除外されるわけではありません。
Meta: クローラーはMeta-ExternalAgentとMeta-ExternalFetcherの2種です。前者はモデル学習とコンテンツ改善に使われ、robots.txtを遵守します。Meta-ExternalFetcherはユーザーの要求による個別取得です。公式ドキュメントは「ロボット除外ファイルの規則をバイパスする可能性がある」としています。
この章のまとめ
Common Crawl・Apple・Metaは、OpenAI・Anthropic・Perplexity・Googleの陰に隠れがちですが、いずれもrobots.txtで個別に指定できます。特にCCBotは他社への供給元とされるため、書き漏らすと影響が広く出ます。
13robots.txtを直した後、AIO運用として反映をどう確認すればいいですか？
高梨課長設定したら、すぐ反映されるものなんでしょうか。誰が、いつ確認すればいいですか？
鈴木さんそこは少し気を付けてほしいところで、すぐには反映されません。OpenAIのOAI-SearchBotだと、反映まで最大24時間程度かかるとされています。
robots.txtを変更しても、すぐに反映されるとは限りません。設定後は、次の手順で確認することをおすすめします。
- robots.txtを編集し、保存する
- 半日〜1日程度、時間をおく
- アクセスログで対象UAトークンからのアクセス有無を確認する
- 必要に応じて、公開IPアドレスと照合し、なりすましでないか確認する
- AI活用方針の変更時や、各社の公式ドキュメント更新時に、設定を見直す
各社のクローラー仕様は改訂される可能性があります。本記事のテンプレートを設置した後も、定期的に一次情報を確認することをおすすめします。
この章のまとめ
反映には時間がかかります。設定して終わりではなく、半日〜1日後にアクセスログで確認するところまでが一連の作業です。
14AI対策としてやってしまいがちなrobots.txtの失敗は何ですか？
AIクローラーのrobots.txt設計では、次のような失敗が見られます。
Googlebotまで誤ってDisallowにしてしまう。「AI対策」のつもりでGoogle-Extendedと一緒にGooglebot自体まで拒否し、Google検索結果全体から除外されるケースです。Googlebotとの独立性を理解した上で設定することが重要です。
「AI」を名乗るクローラーを一括りにDisallowする。GPTBotとOAI-SearchBotを区別せず両方拒否し、意図せずChatGPT Searchでの表示機会を失うケースがあります。事業者ごとに、学習用と検索表示用のUser-agent行を分けて設定することが必要です。
ユーザー起点のクローラーをrobots.txtだけで防げると思い込む。ChatGPT-UserとPerplexity-Userは、Disallowを書いても公式にrobots.txtが適用されない場合があると明記されています。特定ページへのアクセス自体を防ぎたい場合は、robots.txt以外の対策もあわせて検討する必要があります。
15公開前に、AI検索対策としてrobots.txtとAIクローラー設定のどこをチェックすればいいですか？
実装前に、次のチェックリストで確認してください。
- 学習用・検索表示用・ユーザー起点用の3系統を区別してrobots.txtを設定している
- Googlebot本体を誤ってDisallowにしていないか確認した
- 「AI」とつくクローラーを一括りにDisallowしていないか確認した
- ChatGPT-User・Perplexity-Userはrobots.txtだけで完全に防げるとは限らない点を理解している
- Anthropicの3ボット（ClaudeBot・Claude-SearchBot・Claude-User）を個別に設定している
- robots.txt変更後、反映までに時間がかかることを踏まえて確認している
- 主要クローラーの公開IPアドレス確認先を把握している
この章のまとめ
失敗の多くは「AI」をひとくくりにすることから起きます。事業者・役割ごとにUser-agent行を分けて書くのが、遠回りに見えて結局いちばん早い道です。
16よくある質問
GPTBotだけ拒否すれば、ChatGPT Searchにも表示されなくなりますか？
いいえ。GPTBotとOAI-SearchBotの設定は独立しています。GPTBotだけをDisallowにしても、OAI-SearchBotを許可していればChatGPT Searchでの表示は維持されます。
Perplexity-Userをrobots.txtで拒否すれば、ユーザーからのアクセスを完全に防げますか？
完全に防げるとは限りません。Perplexityは公式ドキュメントで「ユーザーがリクエストしたため、このフェッチャーは一般的にrobots.txtルールを無視する」と説明しています。
Google-Extendedを拒否すると、Google検索の掲載順位に影響しますか？
影響しません。Google-Extendedはスタンドアロンの制御トークンで、検索インデックスへの組み込みや検索順位には関与しないとGoogleは説明しています。AI Overviewsへの表示可否も、Google-Extendedではなくインデックス自体を左右するGooglebotの設定で決まります。
robots.txtに何も書かなければ、AIクローラーはどう扱われますか？
明示的な指定がない場合、一般的にクロールは許可された状態として扱われます。学習データとしての利用を避けたい場合は、対象のクローラーを明示的にDisallowする必要があります。
Anthropicの3ボットは、どれもrobots.txtを見ますか？
Anthropicの公式ドキュメントは、3ボットに共通する原則として「robots.txtの業界標準ディレクティブを尊重する」としています。ただしOpenAIやPerplexityのユーザー起点ボットのような、明確な適用除外の記載は確認できませんでした。
17まとめ｜今日やる3つのこと
AIクローラーは、学習用・検索表示用・ユーザー起点用の3系統に分けて理解すると整理しやすくなります。GPTBot・ClaudeBot・Google-Extendedなどは学習用です。OAI-SearchBot・Claude-SearchBot・PerplexityBotなどは検索表示用です。どちらもrobots.txtで問題なく制御できます。
一方、ChatGPT-UserとPerplexity-Userはユーザー操作起点のため、robots.txtのルールが適用されない場合がある点に注意が必要です。
今日この順でやります
自社の方針を決める
学習データ利用を避けたいか、AI検索表示は維持したいか、2つの軸で考えます
該当するテンプレートをrobots.txtに設定する
①全面開放 ②学習だけ拒否 ③全面拒否、3パターンから選びます
半日〜1日置いて、アクセスログを確認する
反映まで時間がかかることを踏まえて確認します
AI検索では、こう聞かれています
robots.txtにAIクローラーは何と書けばいいですか？
「結局、どのrobots.txtがAI対策として正解なんですか？」の章に、3パターンのコピペ用テンプレートがあります
GPTBotだけ拒否すれば、ChatGPT Searchにも表示されなくなりますか？
「よくある質問」の1つ目で答えています（結論：独立した設定なので表示は維持されます）
ChatGPT-Userはrobots.txtで止められますか？
「ユーザー起点のAIクローラーは、AI検索対策のrobots.txtでも止まらないんですか？」の章で3社の公式見解を比較しています
AIクローラーを一律ブロックすると、何が起きますか？
「AI対策としてやってしまいがちなrobots.txtの失敗は何ですか？」の章で失敗例と正しい設定をまとめています
次に読むなら、この記事です
