公開したいページに誤ってnoindexが設定されたままになっていても、検索結果に出ないだけで表示上は何も壊れていないため、長期間気づかれないことがあります。この記事では、ページ別のnoindex設定とその公開意図をAIに照らし合わせ、意図しないnoindexと設定漏れを洗い出す手順を解説します。
01この記事でわかること
- ページ別のnoindex設定一覧を渡し、公開の意図とのズレを検出させるプロンプト
- 入力する情報（URL・公開意図・meta robotsタグとX-Robots-Tagの実際の設定）と、得られる出力（不一致ページの判定表）
- HTMLソースの確認だけでは見落とすHTTPヘッダー側のnoindex設定への対処
02結論サマリー
noindexは、検索結果からページを除外するようGoogleに伝える指示です。ページへのアクセスやクロール自体を拒否する指示ではありません（出典: Google公式noindexドキュメント）。robots.txtでクロール自体をブロックしていると、Googleはnoindexの指示を読み取れず、機能しません（出典: 同上）。
続くプロンプトは、HTMLソースとHTTPヘッダーの両方を渡し、どちらか一方の確認だけでは見落とす設定ミスまで拾う設計です。公開したいページに意図せずnoindexが残っていないかを、一覧でまとめて確認できます。
使用AIツール: Claude（ページ別のnoindex設定情報をテキストで貼り付ければ動作し、2026年7月時点で無料プランでも実行できます。Web検索や添付ファイル機能は使わず、テキストのやり取りのみで完結します）
03課題の整理（なぜ難しいか）
noindexの設定ミスは、意図して設定した本人以外には気づかれにくいという特有の性質を持ちます。
- ステージング環境で一括設定したnoindexを、本番公開後に解除し忘れる
- CMSのテンプレート初期設定で、新規ページが自動的にnoindexになっている場合に気づかない
- HTMLの<head>内meta robotsタグだけを確認し、HTTPレスポンスヘッダーのX-Robots-Tagの存在を見落とす
- meta robotsタグとX-Robots-Tagの指示が矛盾している場合、どちらが実際に優先されるか判断に迷う
続くプロンプトは、公開意図と実際の設定という2つの情報をあわせて渡すことで、この気づきにくさそのものを解消する設計にしています。
04プロンプト本体
公開中の複数ページについて、noindex設定が意図したとおりになっているかを一括で確認したい場面で使います。
あなたはテクニカルSEO/AIOのアナリストです。以下のページ別設定
一覧を、公開意図と実際のnoindex設定を照合する観点でレビューして
ください。
■入力データ
【ページ別設定一覧】
■チェック項目(この5項目を必ず全て判定すること)
1. 【ページ別設定一覧】の「意図」列と、実際のnoindex設定(meta
robotsタグまたはX-Robots-Tagのいずれか)が一致しているかを判定
すること。
2. 「index希望」のページに、meta robotsタグまたはX-Robots-Tagで
noindexが設定されている場合、意図しないnoindexの疑いとして
指摘すること。
3. 「noindex希望」のページに、noindexの記述が存在しない、または
indexと明記されている場合、設定漏れとして指摘すること。
4. 同一ページ内でmeta robotsタグとX-Robots-Tagの指示が矛盾して
いる場合(例: 片方がindex、もう片方がnoindex)、その旨を指摘
すること。
5. noindex設定が存在するページについて、robots.txtで当該URLの
クロール自体がブロックされている旨の記載が【ページ別設定一覧】
にある場合、noindexタグが機能しない可能性がある旨を注記する
こと。
■出力形式
以下の表形式で、意図と実際の設定が一致しないページのみを出力して
ください。
| URL | 意図 | 実際の設定 | 判定区分(意図しないnoindexの疑い/設定漏れ/矛盾/機能しない可能性) | 対応案 |
表の後に、一致しないページの件数を1行でまとめること。全ページが
一致する場合は「不一致なし」と出力すること。
■制約
- 【ページ別設定一覧】に記載のない情報から、実際の設定を推測しな
いこと。記載が「不明」の項目は、判定を「要確認」とすること。
- robots.txtの記載がある場合を除き、クロールの可否そのものは判定
しないこと(本プロンプトはnoindex設定と公開意図の一致のみを扱う)。使う変数
| 変数 | 説明 | 入力例 |
|---|---|---|
| 【ページ別設定一覧】 | 確認したい各ページのURL・公開意図・meta robotsタグとX-Robots-Tagの実際の設定を1行ずつ列挙したもの | https://example.com/thanks／noindex希望／meta robotsタグなし／X-Robots-Tagなし（架空例） |
※以下の例に登場するページ名・URLは、判定の考え方を示すために作成した架空のものです。
05出力の見方と分析の観点
出力された判定表は、次の3点を中心に確認してください。
- 「意図しないnoindexの疑い」に分類されたページを最優先で確認する（公開したいのに検索結果から除外されている可能性があるため）
- 「機能しない可能性」の指摘があるページは、noindexタグ自体ではなくrobots.txt側の記載を見直す必要がある
- 「矛盾」に分類されたページは、meta robotsタグとX-Robots-Tagのどちらが実際の設定として反映されているかを個別に確認する
robots.txtによるクロール制御そのものをAIに点検させる手順は、別記事『AIクローラー向けrobots.txtをAIにチェックさせる方法』で扱っています。クロールを拒否する設定とインデックスを拒否する設定は仕組みが異なるため、両方をあわせて点検すると抜け漏れを防げます。サイトマップとnoindexを含むサイト構造全体の設計指針は、別記事『サイト構造とAIクローラビリティの関係｜設計手順を7ステップで解説』も参考になります。
06応用パターン
応用1: robots.txtの点検とあわせて実施する
robots.txt側の許可・拒否状況もあわせて棚卸ししたい場合は、別記事『AIクローラー向けrobots.txtをAIにチェックさせる方法』のプロンプトと組み合わせてください。クロール制御とインデックス制御の両面から設定を点検できます。
応用2: ページ種別ごとに分けて実行する
サンクスページ・会員限定ページ・通常記事ページのように、公開意図が異なるページ種別が混在する場合があります。URLパターンごとに【ページ別設定一覧】を分けて実行すると、種別ごとの判定の粒度が安定します。
07注意点
AIの判定は、渡されたテキスト情報の範囲内での推測にすぎません。実際にそのページが検索結果から除外されているかどうかは、Search Consoleなど別の手段で確認してください。
非公開の会員ページやステージング環境のURL・設定情報をプロンプトに貼り付ける際は、利用中のAIサービスの法人プラン・データ学習利用設定を事前に確認してください。
診断結果を社外の委託先と共有する場合や、大量ページに自動適用する場合は、利用しているAIサービスの利用規約の範囲内で行ってください。
AIの回答は実行のたびに揺らぎます。同じ入力でも、要確認と判定される項目の粒度や、対応案の書き方が実行のたびに変わることがあります。
AIはテキストとして渡された設定情報を照合しているだけで、実際にそのページがクロールされ、指示どおりインデックスから除外(または維持)されたかまでは判定できません。Googleも、noindexを追加した後にページが検索結果に残っている場合について案内しています。多くは、まだクロールされていないことが原因です（出典: Google公式noindexドキュメント）。設定変更後の反映確認は、Search Consoleの実際のインデックス状況で行ってください。
08FAQ
Q. AIが「設定ミスの疑いあり」と判定したページは、どんな順序で確認すればいいですか？
「意図しないnoindexの疑い」に分類されたページを最優先で確認してください。公開したいページが検索結果から除外され続けている可能性があるためです。そのうえで「設定漏れ」「矛盾」の順に対応することをおすすめします。
Q. HTMLソースだけ確認すれば十分ですか。HTTPヘッダーまで確認する必要がありますか？
両方の確認をおすすめします。X-Robots-Tagは、PDFなど非HTMLリソースにも対応できるHTTPヘッダーでの指定方法です。HTMLソースのmeta robotsタグだけを見ていては検出できない設定も存在します（出典: Google公式noindexドキュメント）。特にCDNやCMS側で追加されるヘッダーは見落としやすい箇所です。
Q. robots.txtでブロックされているのに、noindexも設定されているページはどう扱えばいいですか？
robots.txtでブロックされていると、Googleはnoindexタグ自体を読み取れず機能しません（出典: Google公式noindexドキュメント）。本当にインデックスから除外したい場合は、対応が2通りあります。robots.txtのブロックを一時的に解除してnoindexタグを読み取れる状態にするか、robots.txt側で完全にブロックし続けるかのどちらかに設定を統一してください。
