「思ったより検索結果に出ていないページがある」。調べてみると、原因がrobots.txtやnoindexの設定ミスだった、というケースは少なくありません。
やっかいなのは、この手の誤設定はエラーを出さないことです。ページは普通に開けますし、画面はいつもどおりに表示されます。困っているのは検索エンジンとAIクローラーだけで、その様子は担当者の目には映りません。
この記事は、Google公式ドキュメントにもとづいて、noindexとrobots.txtでよくある9つの誤設定パターンと、見つけるための確認手順を整理しました。「設定した記憶はないのに、なぜか出てこない」という状態を切り分けたい方に向けて書いています。
こんなふうに調べていませんか
- 「noindex robots.txt 誤設定」で検索して、自社の設定が正しいか確かめたい
- robots.txtでブロックしたページにnoindexを付けたのに、検索結果に出てしまう
- AIクローラーを知らないうちに遮断していないか、確認する方法を探している
この記事を読み終えたときに手に入るもの
- noindexとrobots.txtの役割の違いを、社内に自分の言葉で説明できるようになります
- 9つの誤設定パターンから、自社に当てはまるものを見つけられます
- Search Consoleでは見えないAIクローラーの遮断を、アクセスログで確認できます
結論30秒でわかる、この記事の結論
- noindexは検索結果からページを除外する指示、robots.txtはクローラーのアクセス自体を制御する指示です。
- 代表的な事故は、robots.txtでブロックしたままnoindexを追加するケースです。クローラーがnoindexタグ自体を読み取れません。
- AIクローラーを誤って遮断していても、Search Consoleには何も表示されません。ここはアクセスログでしか分かりません。
この記事は、サイトの運用を担当するマーケティング部の2人と、専門家の会話をはさみながら進みます。ご自身に近い立場の人の質問から読んでいただいて構いません。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「誰が、どの頻度で確認するんですか？」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01そもそもnoindexとrobots.txtの誤設定は、AI検索対策で何が問題なんですか？
若葉さんrobots.txtでブロックしているページに、念のためnoindexも付けておきました。二重で安心ですよね？
鈴木さんそこが、いちばん多い事故なんです。二重にしたつもりが、片方が読まれない状態になっています。
いちばん代表的な事故から先にお伝えします。robots.txtでページをブロックしたまま、そのページにnoindexを追加するケースです。
Googleの公式ドキュメントは、この場合クローラーがnoindexタグ自体を読み取れないと明記しています（出典: Google Search Central「noindexの使い方」）。robots.txtでURLがブロックされていると、クローラーはそのページを見に行きません。見に行かなければ、中に書いてあるnoindexも当然読めません。その結果、ページが検索結果に表示される可能性が残ります。
同じことが、AI検索の側でも起こります。AIクローラーを一律で止めていれば、そこから先の設定は読まれません。AI検索対策で最初に確かめるべきなのは、書き方より前に「読みに来られる状態か」ということになります。
この章のまとめ
noindexとrobots.txtの誤設定でいちばん多いのは「二重にしたつもりが、片方が読まれない」形です。順番を意識すると防げます。
02noindexとrobots.txtは、AI検索最適化のうえで何が違うんですか？
若葉さんそもそもなんですが…この2つ、同じようなものだと思っていました。何が違うんでしょうか。
鈴木さん働く段階が違います。 robots.txtは「読みに行くかどうか」、noindexは「読んだ後、検索結果に出すかどうか」を決めています。
robots.txtは、クローラーがどのURLにアクセスできるかを指示するファイルです（出典: Google Search Central「robots.txtの紹介」）。一方noindexは、クロールしたあとに、そのページを検索結果へ載せるかどうかを指示するタグです。
似た文脈で語られがちですが、働く場所が前後で分かれています。この違いを理解しないまま設定すると、次の章から紹介する誤設定が起きやすくなります。
この章のまとめ
robots.txtは前、noindexは後。この順番さえ押さえれば、組み合わせの事故はほとんど避けられます。
03誤設定は、なぜAI検索対策の中でいちばん気づきにくいんですか？
高梨課長気づけない、というのが引っかかります。何かアラートは出ないんですか。
鈴木さん出ません。ページは正常に表示されます。 だから、誰かが能動的に見に行かない限り、そのまま残り続けるんです。
noindexやrobots.txtの誤設定は、見た目上ページが正常に表示されるため、気づきにくいという性質があります。ユーザーがページを直接開けば普通に閲覧できますし、エラーも表示されません。
起きているのは「検索結果に出ない」ということだけです。担当者が能動的にSearch Consoleを確認しない限り、誤設定は放置され続けます。
この章のまとめ
この誤設定は、痛みを伴わずに進行します。だから「気づく」ではなく「点検する」で捕まえます。
04robots.txt側の誤設定5パターンは、AI対策としてどこを見ますか？
高梨課長まずrobots.txt側から見ましょう。どこから確認すればいいですか。
鈴木さん書式そのものはシンプルです。ただ、1文字の誤りが全ページに効いてしまうのがrobots.txtの怖いところなんです。
公式ドキュメントをもとに、代表的な誤設定を整理しました。
| No. | パターン | 内容 |
|---|---|---|
| 1 | Disallow: /の全体拒否 | サイト全体を意図せず遮断する典型的なミス |
| 2 | Googlebot自体の誤ブロック | AI対策のつもりでGooglebot本体まで拒否してしまう |
| 3 | サブディレクトリへの配置 | robots.txtはルート直下必須。配置場所を誤ると無効になる |
| 4 | 大文字小文字の混同 | ルールは大文字小文字を区別するため、パスの表記違いで対象外になる |
| 5 | AIボットの一括拒否 | 学習用・検索表示用の区別をせず「AI」とつくボットを全て拒否する |
1と2は、書いた本人にも意図が残っているぶん、まだ見つけやすいパターンです。やっかいなのは、この先の3から5です。
この章のまとめ
robots.txt側の誤設定は、書式ではなく「どこに置いたか」「どう書いたか」で起きます。
05robots.txtの配置と大文字小文字は、AI検索対策でなぜ見落とすんですか？
若葉さん中身は何度も見直したんですが…それでも見落とすことがあるんでしょうか。
鈴木さんあります。中身が正しくても、置き場所と表記で無効になるからです。読み直しでは見つかりません。
robots.txtはhttps://example.com/robots.txtのようにルート直下に置く必要があります。サブディレクトリには配置できません（出典: Google Search Central「robots.txtの作成方法」）。置き場所を誤ると、中身がどれだけ正しくても読まれません。
またルールは大文字小文字を区別します。公式ドキュメントは、Disallow: /file.aspが/file.aspには適用される一方で/FILE.aspには適用されない、という例を挙げています。
5については、GPTBotとOAI-SearchBotのように、同じ事業者でも学習用・検索表示用でクローラーが分かれているケースがあります。ここをまとめて拒否すると、学習を止めるつもりで検索表示まで止まります。AI検索対策としては、この2つを別々に決めるのが出発点になります。
この章のまとめ
「置き場所」「大文字小文字」「まとめて拒否」の3点は、中身を読み直しても見つかりません。別の観点で見ます。
06noindex側の誤設定4パターンは、AI検索でどんな事故になりますか？
若葉さんnoindex側にも、パターンがあるんですね。
鈴木さんはい。noindex側は、robots.txtとの組み合わせで起きるものと、運用フローで混入するものに分かれます。
| No. | パターン | 内容 |
|---|---|---|
| 6 | robots.txtでブロック中のnoindex | クローラーがページにアクセスできず、noindexタグ自体を読み取れない |
| 7 | meta robotsとX-Robots-Tagの矛盾 | HTML側とHTTPヘッダー側で異なる指示を出してしまう |
| 8 | ステージング環境設定の残存 | 開発環境で設定したnoindexを本番公開後に解除し忘れる |
| 9 | CMSテンプレートの初期値 | 新規ページが自動的にnoindexになる設定に気づかない |
6は、前半で扱った組み合わせミスです。noindexで確実に除外したい場合は、robots.txt側でそのURLへのアクセスを許可しておく必要があります。
7のmeta robotsタグとX-Robots-Tagは、どちらもnoindexを指定できる仕組みです。同じページで矛盾する指示を出していないか、両方を確認します。X-Robots-TagはHTTPレスポンスヘッダーで指定するため、PDFなど非HTMLファイルにも使えます。その反面、HTMLソースの目視確認だけでは見落としやすい設定でもあります。
8と9は、設定そのものより「いつ混入したか」が問題になるタイプです。8のステージング環境設定の残存は、本番公開の直後に該当ページのHTMLでnoindexの文字列を検索すれば、数十秒で判定できます。公開手順書にこの1行を入れておくだけで、再発は止まります。
9のCMSテンプレート初期値は、記事単位ではなくテンプレート単位で確認します。WordPressのSEOプラグインには、投稿タイプごと・タクソノミーごとにインデックス設定を持つものがあります。新しい投稿タイプやカスタム分類を追加したタイミングで初期値を見る運用にしておくと、個別ページを1つずつ点検せずに済みます。
この章のまとめ
noindex側は「組み合わせ」と「いつ混入したか」の2種類です。後者は、点検ではなく手順書で止めます。
07AI検索対策として、誤設定はSearch Consoleではどこまで見つかりますか？
高梨課長発見の手順を決めたいです。まずSearch Consoleでいいですか。
鈴木さんはい、Google側の切り分けは、2つのレポートを併用するのが早いです。
robots.txtレポートで取得状況を確認する
Search Consoleの「robots.txtレポート」では、Googleが取得したrobots.txtの内容と、取得ステータス・警告を確認できます（出典: Search Console ヘルプ「robots.txtレポート」）。このレポートは、対象プロパティの上位20ホストぶんのrobots.txtを表示します。
ページのインデックス登録レポートで除外理由を確認する
「ページのインデックス登録」レポートでは、インデックスされなかったページとその理由を確認できます（出典: Search Console ヘルプ「ページのインデックス登録レポート」）。「noindexタグが原因」「robots.txtによりブロック」といった理由が個別に表示されるため、どちらの仕組みが原因かを切り分けられます。
この章のまとめ
Google側は、この2つのレポートで原因まで切り分けられます。ここまでは画面を見るだけで終わります。
08AIクローラーのrobots.txt遮断は、なぜAI検索最適化でログを見ないと分からないんですか？
高梨課長では、AIクローラー側も同じようにSearch Consoleで見られますか。
鈴木さんそこが穴なんです。Search Consoleが報告するのはGooglebotの挙動だけで、AIクローラーを誤って遮断していても、何も表示されません。
警告もエラーも出ないため、担当者は「特に問題なし」と判断してしまいます。ここが手順1・2では埋められない穴です。
つまり、AI検索最適化の点検は、Search Consoleとアクセスログの2レーンで行うことになります。片方だけを見ていると、もう片方の穴がそのまま残ります。
この章のまとめ
「Search Consoleに何も出ていない」は、AIクローラーが届いている証拠にはなりません。
09AI検索対策として、robots.txtの誤設定はアクセスログで何を見ればいいんですか？
高梨課長ログを見る、というのは分かりました。何をどう見ればいいんでしょう。
鈴木さん見る順番があります。来ていないのか、来ているけれど拒否しているのかを、先に分けるのがコツです。
確認手段は、自社サーバーのアクセスログです。次の3点を順に見ます。
- 直近1〜3か月ぶんのログを、User-Agent別に件数集計する（GPTBot・OAI-SearchBotなど）
- 集計結果に出てこないUser-Agentがあれば、robots.txtの該当ルールを読み直す
- ステータスコードを確認し、200以外（403・404など）が多いパスを洗い出す
「アクセスが0件」と「アクセスはあるが拒否している」は、原因も対処もまったく別です。前者はrobots.txt以前にクローラーが来ていない状態で、後者は自社の設定で遮断している状態です。ログを見ずにrobots.txtだけを眺めていると、この2つを区別できません。
この章のまとめ
ログでは、まず到達の有無を見ます。次にステータスコードで、拒否しているかどうかを見ます。
10noindex・robots.txtの誤設定を、AI検索対策としてどう総点検しますか？
若葉さん9つのパターンを、順番に見ていけばいいでしょうか。
鈴木さん順番より、どこで起きるかで分けて見るほうが早いですよ。設定そのもので起きるものと、運用で混入するものは、直し方が違います。
設定そのもので起きるものは、ファイルを開けば直せます。運用で混入するものは、ファイルを直しても再発します。後者に必要なのは点検ではなく、手順書とテンプレートの見直しです。この切り分けができると、同じ作業を毎月繰り返さずに済みます。
そのうえで、自社の状態を次の項目で確認してください。
- robots.txtで
Disallow: /の意図しない全体拒否がない - robots.txtがルート直下に配置され、Googlebot本体を誤ってブロックしていない
- AIボットを学習用・検索表示用で区別して設定している
- robots.txtでブロック中のURLにnoindexだけを設定していない
- meta robotsタグとX-Robots-Tagの指示が矛盾していない
- ステージング環境のnoindexが本番公開後に解除されている
- CMSの新規ページ初期値がnoindexになっていないか確認している
- robots.txtレポートとページのインデックス登録レポートを定期的に確認している
- アクセスログをUser-Agent別に集計し、AIクローラーの到達状況を確認している
この章のまとめ
9つを一列に並べず、「設定で起きる」「運用で混入する」に分けます。直し方が変わるからです。
11AI対策のつもりでやってしまう、noindex・robots.txt誤設定の失敗は？
高梨課長逆に、やってしまいがちな失敗を先に知っておきたいです。
鈴木さん3つあります。いちばん重いのは、「AI対策」のつもりでGooglebotまで拒否してしまうケースです。
「AI対策」のつもりでGooglebotまで拒否してしまう。 Google-Extendedなど特定のAI学習用トークンと、検索インデックス全般を担うGooglebot本体は別物です。両者を混同すると、Google検索結果全体から除外される事態になります。なおGoogle-Extendedの制御自体は、Google検索の登録や順位に影響しないと公式に明記されています。
robots.txtとnoindexを同じ目的の設定だと思い込んでしまう。 インデックスから外したいなら、robots.txtのブロックを解除したうえでnoindexを設定します。逆にしても、意図は伝わりません。
本番公開時のチェック項目にnoindex確認を含めていない。 ステージング環境からの移行フローにnoindex解除の確認が組み込まれていないと、同じミスが何度でも繰り返されます。
この章のまとめ
失敗は「対象を間違える」「順番を間違える」「手順書に無い」の3つに集約されます。
12LLMOの視点で、noindexとrobots.txtの誤設定はいつ見直しますか？
高梨課長頻度を決めたいです。毎月全ページを見る余裕はありません。
鈴木さん全ページは要りません。変化があったときと、決まったタイミングの2つに絞れば回ります。
LLMO（AI検索最適化の別の呼び方です）の観点で言うと、点検の目的は「AIクローラーが到達できる状態を保つこと」に尽きます。であれば、見るべきなのは変化があった瞬間です。
本番公開の直後にHTMLでnoindexの文字列を検索する。新しい投稿タイプやカスタム分類を追加したら、テンプレートの初期値を見る。この2つを手順に入れておけば、8と9のパターンは仕組みで止まります。
そのうえで、robots.txtレポートとページのインデックス登録レポート、そしてアクセスログのUser-Agent別集計を、決まった間隔で見ます。担当者の記憶ではなく、手順書とカレンダーに持たせるのが、この領域の運用です。
この章のまとめ
点検は「変化があったとき」と「決めた間隔」の2種類だけ。全ページを毎回見る必要はありません。
13よくある質問
robots.txtとnoindexは、どちらを優先して設定すべきですか？
目的によります。ページ自体をクロールさせたくない場合はrobots.txt、クロールは許可しつつ検索結果には出したくない場合はnoindexを使います。なおGoogle公式ドキュメントは、robots.txtを検索結果から隠す手段として使わないよう案内しています。robots.txtでブロックしたページはnoindexを読み取ってもらえないため、併用時は特に注意してください。
noindexを外してから、検索結果に反映されるまでどれくらいかかりますか？
Google公式ドキュメントは、具体的な日数を保証していません。急ぎの場合は、URL検査ツールで再クロールをリクエストする方法があります。
大文字小文字の違いは、本当に別のパスとして扱われますか？
はい。Google公式ドキュメントは、robots.txtのルールが大文字小文字を区別すると明記しています。同ドキュメントの例では、/file.aspと/FILE.aspが異なるパスとして扱われます。
X-Robots-Tagはどんな場合に使いますか？
PDFや動画ファイルなど、HTMLの<meta>タグを埋め込めないファイル形式でnoindexを指定したい場合に使います。HTTPレスポンスヘッダーで指定するため、CMSやCDNの設定を確認する際は見落とさないよう注意が必要です。
AIクローラーだけを止めたいときは、まとめて拒否してもいいですか？
まとめての拒否はおすすめしません。GPTBotとOAI-SearchBotのように、同じ事業者でも学習用と検索表示用でクローラーが分かれているためです。目的別の書き方は、AIクローラー向けrobots.txtを扱った関連記事にテンプレートがあります。
14まとめ｜今日やる3つのこと
noindexとrobots.txtは、クロールの可否とインデックスの可否という別々の役割を持つ仕組みです。この違いを理解しないまま設定すると、この記事で紹介した9パターンのような、意図しない誤設定が起きます。
そしてAIクローラー側は、Search Consoleが覆っていません。この2レーンをセットで点検するところまでが、いまのAI検索対策です。
今日この順でやります
Search Consoleの2つのレポートを開く
robots.txtレポートと、ページのインデックス登録レポートを見ます
アクセスログをUser-Agent別に集計する
GPTBot・OAI-SearchBotなどが到達しているかを確認します
公開手順書にnoindex確認の行を足す
本番公開の直後にHTMLで
noindexを検索する運用にします
AI検索では、こう聞かれています
noindexとrobots.txtは何が違うんですか？両方設定してもいいですか？
「noindexとrobots.txtは、AI検索最適化のうえで何が違うんですか？」の章で、たとえと図解で説明しています
robots.txtでブロックしたページにnoindexを付けても効かないのはなぜですか？
「そもそもnoindexとrobots.txtの誤設定は、AI検索対策で何が問題なんですか？」の章に、公式ドキュメントの指摘と流れの図があります
AIクローラーを誤ってブロックしていないか、どこで確認できますか？
「AIクローラーのrobots.txt遮断は、なぜAI検索最適化でログを見ないと分からないんですか？」の章に、アクセスログの手順があります
次に読むなら、この記事です
