robots.txtのAIクローラー設定を一括チェック【プロンプト】

AI検索に対応するクローラーは、事業者ごとに増え続けています。名前を聞いたことのあるものもあれば、初めて見るものもあるはずです。

そのうえで、自社のrobots.txtがいまの設定で十分かを、条文を読むだけで正確に判断するのは簡単ではありません。書いてあることを読むだけでは終わらず、書いていないクローラーがどう扱われるかまで決めなければならないからです。

この記事は、現行のrobots.txt本文をそのままAIに渡して、クローラー別の許可状況を一括で診断させるプロンプトを、コピーして使える形でまとめました。照合は預けて、人の側は「本番へ反映してよいか」だけを決める、という分け方です。

この記事は、あるマーケティング部の2人と、専門家のやり取りをはさみながら進みます。若葉さん（Web担当2年目）が「そもそもそれは何ですか」を、高梨課長（マーケ課長）が「誰が、どれくらいの手間でやるんですか」を聞きます。答えるのは鈴木さん（AIO/SEOの専門家・本誌監修）です。

01そもそもAIクローラーって何ですか？AI検索対策でなぜrobots.txtをチェックするんですか？

若葉さん

若葉さんの発言

robots.txtって、そもそも何が書いてあるファイルなんでしょうか。開いたことはあるんですが…。

鈴木さん

鈴木さんの発言

建物の入口に貼ってある案内だと思ってください。「どなたでもどうぞ」「この方はご遠慮ください」と、相手ごとに扱いを書いておく紙です。

AI検索の答えのもとになる情報は、サイトを巡回するプログラムが集めています。このプログラムがクローラーです。robots.txtは、そのクローラーごとに「どこを見てよいか」を書いておくファイルです。

読み取られ方は、大きく3区分に分かれます。Allow（明示許可）・Disallow（明示拒否）・未記載です。多くのクローラーは、明示的な指定がない場合、許可された状態として扱われます。つまり、書かなかった相手は、断ったことにはなりません。

ここを点検する理由は、間違えたときの向きにあります。検索表示用のクローラーを誤って拒否すると、AI検索からの露出機会を失うリスクがあります。しかも、拒否は静かに効きます。エラーが出るわけではありません。

02AIクローラーの3系統は、AI検索最適化の実務でどう違うんですか？

AIクローラーは学習用・検索表示用・ユーザー起点用で役割が異なり、robots.txtの正しい書き方も変わります。本記事のプロンプトは、この3系統を診断の基準に据えています。

• 学習用 — GPTBot / ClaudeBot / Google-Extended / CCBot / Applebot-Extended / Meta-ExternalAgent
• 検索表示用 — OAI-SearchBot / Claude-SearchBot / PerplexityBot / Googlebot
• ユーザー起点用 — ChatGPT-User / Claude-User / Perplexity-User / Meta-ExternalFetcher

同じ「拒否」でも、系統によって起きることが変わります。学習用を断れば、学習データとしての利用を断ることになります。検索表示用を断れば、AI検索の答えのなかに出てくる機会そのものが減ります。混同したまま一律で断ると、止めたかったもの以外まで止まります。

ユーザー起点用は、さらに扱いが違います。ChatGPT-UserやPerplexity-Userは、公式ドキュメントによれば、ユーザー操作起点のためrobots.txtが適用されない場合があるとされています。Disallowと書いても、書いたとおりに効くとは限りません。確実に遮断したい場合は、IPアドレス照合など別の対策もあわせて検討してください。

03robots.txtを目で追うだけでは、AI対策としてなぜ足りないんですか？

高梨課長

高梨課長の発言

ファイル自体は短いですよね。読めば分かるのでは、と思ってしまうんですが。

鈴木さん

鈴木さんの発言

短いからこそ難しいんです。書いてある行を読む作業ではなく、書いていない相手をどう扱うかを、こちらで判定していく作業になりますから。

robots.txtは1行の書き誤りだけで、意図しないクローラーまで拒否してしまうことがあります。手作業でつまずくところは、主に4つです。

• 学習用・検索表示用・ユーザー起点用という3系統の役割を混同しやすい
• 14種のクローラーを1つずつ手作業で照合するのは手間がかかる
• Googlebot本体を誤ってDisallowに含めてしまうミスに気づきにくい
• ChatGPT-UserやPerplexity-Userは、Disallowを書いても効かない場合があることを見落としがち

並べて眺めると、性質が2つに分かれます。前半は手間の問題です。名前を1つずつ探しにいく作業は、数が増えるほど時間がかかります。後半は見落としの問題です。Googlebot本体の巻き込みも、効かない拒否も、ファイルを眺めているだけでは目に入りません。

04robots.txtのAIクローラー診断をチェックさせるプロンプトは、AIOのどこをコピーするんですか？

新しいAIクローラーが話題になった時や、四半期ごとの設定見直しでrobots.txtを確認する場面で使います。次のコードブロックの中身を、そのままコピーしてください。

あなたはテクニカルSEO/AIOの専門家です。
以下のrobots.txt本文を、下記のAIクローラー一覧にもとづいて診断してください。

■診断基準とするAIクローラー一覧(2026年7月時点・7事業者14種)
学習用: GPTBot / ClaudeBot / Google-Extended / CCBot / Applebot-Extended
       / Meta-ExternalAgent
検索表示用: OAI-SearchBot / Claude-SearchBot / PerplexityBot / Googlebot
ユーザー起点用: ChatGPT-User / Claude-User / Perplexity-User
       / Meta-ExternalFetcher

■診断対象のrobots.txt本文
【robots.txt本文】

■診断手順
1. 上記14種のクローラーそれぞれについて、robots.txt本文内に個別の
   User-agent行があるかを確認すること。
2. 個別の記述がないクローラーは、ワイルドカード(User-agent: *)の設定
   があればそれを適用し、なければ「未記載」と判定すること。
3. 各クローラーの許可状況を「Allow(明示許可)」「Disallow(明示拒否)」
   「未記載(暗黙許可として扱われる)」の3区分で判定すること。
4. Googlebot本体をDisallowにしていないか、学習用と検索表示用を混同
   していないかなど、意図しない設定ミスの可能性があれば具体的に指摘
   すること。

■出力形式
14種のクローラーすべてについて、以下の列を持つ表で出力してください。
| クローラー名 | 系統 | 許可状況 | 懸念点(あれば) |
表の後に、設定ミスの可能性が高い箇所を優先度順に3つまで箇条書きで
まとめること。

■制約
- robots.txt本文に書かれていない設定を、AIが推測して作り出さないこと。
- ChatGPT-UserとPerplexity-Userは、Disallowの記載があっても公式に
  「robots.txtが適用されない場合がある」とされている点を、懸念点欄に
  必ず注記すること。
- 表の14行を省略しないこと(該当なしの場合も「未記載」の行を残す)。

土台になっているのは、照合する一覧をプロンプトの中に同梱していることです。AIの記憶に任せず、こちらが決めた基準で照合させる。ここが崩れると、診断のたびに基準が変わってしまいます。

05診断手順と制約は、AI検索最適化のチェックで何を守っているんですか？

判定の順番も、こちらで決めています。個別のUser-agent行を探し、無ければワイルドカードを当て、それも無ければ未記載とする。手作業でやろうとしていた判定を、そのまま文章にしたものです。

いちばん上の制約は、消さずに残してください。書かれていない設定を作り出さない歯止めと、効かない拒否についての注記、そして該当なしの行も省略させないという指定です。省略を許すと、確認したかったクローラーが表から消えます。

使用AIツールはClaudeを想定しています。robots.txt本文を貼り付けるだけで診断でき、無料プランでも利用できます（2026年7月時点）。ファイルアップロードや特別な設定は不要です。

06【robots.txt本文】には、AI検索に何をそのまま渡せばいいんですか？

使う変数

※入力例はすべて架空の例です。

渡すのは、変数の説明にあるとおり現行の全文です。抜粋しないでください。抜き出した部分だけを渡すと、抜いた行が「書かれていないもの」として扱われます。

もう1つ、渡す前に決めておくことがあります。その本文を外へ出してよいかどうかです。robots.txtには、社内でしか使っていないURLの並びが書かれていることがあります。

07返ってきたAIクローラー別の一覧は、AI検索対策としてどこから読むんですか？

返ってくるのは、クローラー名・系統・許可状況・懸念点の列を持つ表です。表の後ろに、設定ミスの可能性が高い箇所が優先度順に3つまで並びます。

上から順に読む必要はありません。次の3点を中心に確認してください。

• 検索表示用クローラー（OAI-SearchBot・Claude-SearchBot・PerplexityBot）がDisallowになっていないか
• Googlebot本体が、学習用クローラーと一緒に誤って拒否されていないか
• 懸念点欄に、ChatGPT-UserやPerplexity-Userについての注記が正しく反映されているか

順番には理由があります。1つめは、間違っていたときにいちばん失うものが大きい行だからです。2つめは、巻き込み事故が起きやすい行です。3つめは、書いたとおりに効かない可能性があると分かっている行で、注記が出ていなければ診断そのものを疑う手がかりになります。

08robots.txtで誤って拒否していたら、LLMO対策として次に何をするんですか？

高梨課長

高梨課長の発言

誤設定が見つかったとして、そのまま直してしまっていいものでしょうか。

鈴木さん

鈴木さんの発言

そこは止めてください。robots.txtの変更は、検索やAI検索からの露出に直結します。診断結果をそのまま適用せず、本番反映前に必ず人がレビューしてください。

このプロンプトは、現状の診断に特化しています。実際の設定変更や本番環境への反映は、人が判断して実施します。

反映するときに参照するものがあります。AIクローラーの分類と役割の詳しい解説、目的別に選べる3つの設定テンプレートは、別記事 AIOM-014 で扱っています。診断結果をもとに設定を変更する場合は、このテンプレートを参考に本番反映前のレビューを行ってください。

ユーザー起点用のクローラーを止めたい場合は、robots.txtだけで完結しません。確実に遮断したいのであれば、IPアドレス照合など別の対策もあわせて検討することになります。

09AIクローラー診断の結果を鵜呑みにしないために、AI検索最適化では何に気をつけますか？

AIの出力には、誤りが含まれる場合があります。特に許可状況の判定は、そのまま信じず、実際のファイルで再確認してから採用してください。

気をつけどころは、3つに分かれます。

1つめは、判定そのものです。 表の1行1行が実際のファイルと合っているかは、最後は自分の目で当ててください。任せているのは照合の手間であって、結論ではありません。

2つめは、実行ごとの揺らぎです。 AIの回答は実行のたびに揺らぎます。同じrobots.txtでも、懸念点として拾われる項目が変わることがあるため、重要な判断の前には複数回実行して比較することをおすすめします。

3つめは、一覧からの取りこぼしです。 本プロンプトに含めたクローラー一覧は2026年7月時点のものです。新しいAIクローラーが今後追加された場合、AIの知識が追いついておらず、診断対象から漏れる可能性があります。

10robots.txtの変更前後の比較にも、AI対策としてこのチェックは使えますか？

若葉さん

若葉さんの発言

これって、いまの設定を見るためだけのものなんでしょうか。

鈴木さん

鈴木さんの発言

いえ、同じプロンプトのまま、使い道が2つ広がります。片方は自社の変更前後、もう片方はよそのサイトです。

応用1: 変更前後の差分チェックに使う。 設定変更を予定している場合、変更前と変更後の【robots.txt本文】をそれぞれ入力し、結果を並べれば、変更で許可状況がどう変わるかを事前に確認できます。

応用2: 他社サイトの方針調査に使う。 競合や取引先が公開しているrobots.txtを【robots.txt本文】として渡せば、その企業がAIクローラーにどう対応しているかを、同じ形式で確認できます。

どちらの応用でも、診断が現状を映すところまでという性質は変わりません。本番へ反映する前のレビューは、同じように通してください。

11よくある質問

12まとめ｜今日から始める3つのこと

robots.txtの点検が難しいのは、書いてある行が読めないからではありません。書いていない相手の扱いまで決めたうえで、名前を1つずつ照合する必要があるからです。

その照合を、まとめてプロンプトへ預けます。預けないのは、本番へ反映してよいかどうかを決める仕事です。