「うちの記事、AIに勝手に使われているんじゃないか」。社内でそう聞かれて、答えに詰まったことはないでしょうか。

止めたいのは、モデルの学習に使われることなのか。それとも、AI検索の答えの中に出ること自体なのか。ここが整理できていないと、robots.txtのたった1行で、自社を丸ごと閉じてしまうことになりかねません。

この記事は、その手前で止まっている方に向けて書きました。専門用語は出てきたその場で言い換えます。最後は「自社ならどの初期値を選ぶか」まで決められる形にしています。

こんなふうに調べていませんか

  • 「AI 学習 拒否 robots.txt」で検索して、書き方を探している
  • 学習には使ってほしくないが、AI検索の答えからは消えたくない
  • コンテンツの対価を受け取る仕組みが本当にあるのか知りたい

この記事を読み終えたときに手に入るもの

  • search・ai-input・ai-trainの違いを、社内の人に自分の言葉で説明できるようになります
  • 自社の事業タイプに合う初期値を、その場で選べるようになります
  • いま決められることと、まだ決められないことを分けて話せるようになります

結論30秒でわかる、この記事の結論

  • コンテンツライセンスとは、AIに自社のコンテンツをどう使ってよいかを、機械が読める形で示すことです。
  • robots.txtの「入っていいか、だめか」の二択から、使い道ごとに意思を示す形へ移りつつあります。
  • 対価を受け取る仕組みも動き始めていますが、まだ試行の段階です。
  • 機械が読める形で残せるのは意思の表明まで。意思に反する収集を止める力はありません。
AIに使われる前に、決めておく3つ設定の話に見えて、決めるのは事業の方針ですAIに使われる前に、決めておく3つ1つめ使われ方を仕分ける見せる・その場で使う・覚える2つめ値札をつけられるかアクセス1回ごとに価格を出す試み3つめ自社の初期値を選ぶ露出を取るか、商品として守るか鈴木さん設定の話に見えて、決めるのは事業の方針です
AIに使われる前に、決めておく3つ — 設定の話に見えて、決めるのは事業の方針です

この記事では、あるメディア運営会社の2人と、専門家の会話をはさみながら進めます。高梨課長(実務担当)は「誰がどう設定するのか」を、大森部長(事業責任者)は「収益にどう効くのか」を聞く役です。鈴木さん(AIO/SEOの専門家・本誌監修)が答えます。

01AI対策として、コンテンツのライセンスと収益分配は何から考えるんですか?

高梨課長
高梨課長の発言

記事がAIに使われている、という話は分かるんです。ただ、何をどう設定すればいいのかが見えなくて。

鈴木さん
鈴木さんの発言

最初にやるのは、設定を書くことではないんですよ。「止めたいのは、どの使われ方か」を分けるところからです。同じ1台のクローラーが取りにきていても、その先の使い道は別々ですから。

AIクローラーが対価なくコンテンツを集めていく状態に対して、業界側からの反応が具体化してきました。robots.txtを拡張する動きと、クロールそのものに課金する動きが、続けて出てきています。

この記事が土台にする一次情報は2つです。Cloudflareの公式発表と、RSL(Really Simple Licensing)標準。どちらも公開されている文書で、誰でも読めます。

主な動きは3つです(出典: Cloudflare公式、RSL Collective)。

発表日仕組み何ができるようになるか
2025年7月1日Pay Per Crawl(Cloudflare・非公開ベータ)AIクローラーのアクセスに1リクエスト単位で課金する
2025年9月10日RSL標準(RSL Collective)robots.txtへの1行追加で、ライセンス条件の所在を宣言する
2025年9月24日Content Signals Policy(Cloudflare)search・ai-input・ai-trainの3目的を個別にyes/noで表明する

3つはバラバラに出てきたように見えますが、並べると同じ方向を向いています。サイト側が言えることが、段階的に増えているという方向です。

サイト側が言えることは、3段に増えました下から順に、後から積み上がってきた層ですサイト側が言えることは、3段に増えました下から順に、後から積み上がってきた層ですいくらなら使えるかまだ試行の段階です何に使ってよいか用途ごとに答えを分けられます入ってよいか長いあいだ、ここまでしか言えませんでした
サイト側が言えることは、3段に増えました — 下から順に、後から積み上がってきた層です

この章のまとめ

コンテンツライセンスの話は、新しい技術の話ではありません。サイト側が言える言葉が増えたという話です。増えた順に、①使い道 ②対価 と見ていきます。

02これまでのrobots.txtは、AI検索の時代に何が足りないんですか?

従来のrobots.txtは、クローラーの巡回を許可するか拒否するかの二択しか表現できませんでした。検索エンジンだけが相手だった時代は、それで十分でした。取りにくる目的が、ほぼ一つしかなかったからです。

いまは事情が違います。検索インデックスを作るために取りにくることもあれば、AIの答えをその場で組み立てるために取りにくることもあり、モデルを鍛えるために取りにくることもあります。同じクローラーであっても、目的が異なる場合があるわけです。

ところが二択の窓口では、どの目的についての回答なのかを示せません。「拒否」と書けば全部が閉まり、「許可」と書けば全部が開きます。ここを解こうとする仕組みが、2025年後半に相次いで登場しました。

聞かれ方が変わると、答えられることが変わる同じサイト、同じクローラーでも結果が違ってきます聞かれ方が変わると、答えられることが変わる同じサイト、同じクローラーでも結果が違ってきます入口の可否だけ聞かれる答えははいか、いいえの二択はいと言えば、まとめて開くいいえと言えば、まとめて閉じる用途を分けて答えられない用途ごとに聞かれる索引に載せてよいか答えるたびに読んでよいか覚えてよいか開ける所と閉じる所を選べる
聞かれ方が変わると、答えられることが変わる — 同じサイト、同じクローラーでも結果が違ってきます

この章のまとめ

足りなかったのは新しい技術ではなく、用途を聞く欄でした。ここが埋まると、はじめて「学習は断るが検索には出る」が言えるようになります。

03search・ai-input・ai-trainは、AI検索対策としてコンテンツをどう扱う合図なんですか?

Cloudflareは、robots.txtに「Content-Signal」という機械が読める語彙を追加しました。コンテンツの3つの利用目的を、個別に表明できる仕組みです(出典: Cloudflare公式)。

シグナル対応する利用目的
search検索インデックスを構築し、リンクや抜粋を表示する用途
ai-inputRAGやグラウンディング等、AIモデルへのリアルタイム入力として使う用途
ai-trainAIモデルの訓練・ファインチューニングに使う用途

言葉が硬いので、身近なものに置き換えてみます。

資料を人に渡すときの言い方に置き換える3つの合図は、強さの順に並んでいます資料を人に渡すときの言い方に置き換える3つの合図は、強さの順に並んでいます人に資料を渡すならrobots.txtでは棚に並べて、見出しを見せてよいsearchその場で読み上げるのはよいai-input写しを取って持ち帰ってよいai-train何も言わずに渡す断ってはいない扱いになる鈴木さん黙って渡すと、断ったことにはならないんです
資料を人に渡すときの言い方に置き換える — 3つの合図は、強さの順に並んでいます

ai-inputだけ補足します。RAG(検索してから答えを作る仕組み)は、AIがその場で外部の文章を読みにいって答えに反映する動きです。覚えるのではなく答えるたびに読みにくる点が、ai-trainと違います。

3つのシグナルは、それぞれyes・noで表明します。記述はrobots.txtのUser-agentグループの中に置きます(出典: Cloudflare公式)。検索は許可し、学習利用を拒否し、ai-inputについては意思表示しない場合の書き方は次のとおりです。

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

ここで大事なのが、書かなかった項目の扱いです。ai-inputを記述しないことは、拒否ではなく「選好を表明していない」状態を意味します(出典: Cloudflare公式)。

この章のまとめ

searchは見せてよいか、ai-inputはその場で使ってよいか、ai-trainは覚えてよいか。強度の順に3段と覚えると、社内でも説明しやすくなります。

04Cloudflareの既定値は、うちのコンテンツのAI対策にも関係あるんですか?

関係があります。自分で設定した覚えがなくても、です。

この方針は、Cloudflareが管理するrobots.txtを提供している380万以上のドメインに、既定で適用されています(出典: Cloudflare公式)。設定内容は「Content-Signal: search=yes, ai-train=no」、つまり検索は許可・AI学習は拒否です。

ai-inputについては、顧客の意向が分からず推測したくないという理由から、Cloudflareはシグナル自体を配信していません(出典: Cloudflare公式)。前の章で見た「書かない=表明していない」が、ここでそのまま効いています。

自社がいまどこまで言えているのかは、次の3点を見れば分かります。

うちのサイトは、いま何を言えているか空欄が多いほど、既定値のまま出ている可能性が高くなりますうちのサイトは、いま何を言えているか空欄が多いほど、既定値のまま出ている可能性が高くなります索引に載せてよい、と言えているかsearchの欄にあたります覚えてよいかどうかを言えているかai-trainの欄にあたります答えるたびに読むことへの意思を言えているかai-inputの欄にあたります
うちのサイトは、いま何を言えているか — 空欄が多いほど、既定値のまま出ている可能性が高くなります

05Pay Per Crawlは、AI検索のクロールにコンテンツの対価を請求できるということですか?

大森部長
大森部長の発言

断るかどうかの話は分かった。それで、使われた分の対価を取る、という話はどうなっているんですか。

鈴木さん
鈴木さんの発言

そこも動き始めています。ただ、まだ完成した仕組みとして提供されているわけではない、というのが正直なところです。段階を分けてお話ししますね。

Cloudflareは2025年7月1日、「Pay Per Crawl」の非公開ベータを発表しました(出典: Cloudflare公式)。パブリッシャーがAIクローラーへのアクセスを、許可・課金・ブロックの3択から選べる仕組みです。

料金は、サイト全体で統一された1リクエストあたりの価格として設定します。AIクローラーが課金対象のコンテンツにアクセスすると、HTTP 402(Payment Required)が返されます(出典: Cloudflare公式)。価格は「crawler-price」ヘッダーで通知される仕組みです。クローラー側は「crawler-exact-price」「crawler-max-price」ヘッダーで支払い意思を示すと、アクセスできます。

やり取りの順番は、思っているより単純です。

値札のやり取りは、往復で決まります人が間に入らず、機械同士でやり取りします値札のやり取りは、往復で決まります人が間に入らず、機械同士でやり取りします1取りにくる課金対象のページへアクセス2支払いが要ると返すHTTP 4023いくらかを示すcrawler-price4払うと答えるcrawler-max-price
値札のやり取りは、往復で決まります — 人が間に入らず、機械同士でやり取りします

この章のまとめ

Pay Per Crawlは、断るか通すかの二択に「有料で通す」という3つめの選択肢を足す試みです。ここも、言えることが増える方向の話です。

06クロールの回数で数えると、AI検索でのコンテンツの使われ方とずれるのはなぜですか?

その1年後にあたる2026年7月1日、Cloudflareは続きの投稿を公開しました。「Pay Per CrawlをPay Per Useへと形づくり始めている」という内容です(出典: Cloudflare公式)。

背景にあるのは、クロール回数と実際の利用量が一致しない点です。1ページが1回のクロールで数千の回答に引用されることもあれば、何度クロールされても一度も使われないこともあります(出典: Cloudflare公式)。

取りにきた回数は「どれだけ読まれたか」を表していません。ここがずれると、対価の根拠も揺らぎます。

何を数えるかで、対価の根拠が変わる取りにきた回数と、読まれた量は同じではありません何を数えるかで、対価の根拠が変わる取りにきた回数と、読まれた量は同じではありません取りにきた回数で数える一度取りにきたら、一度と数えるそのあと使われなくても同じ答えに何度出ても増えないいま動いている数え方使われた量で数える答えに引用されたときに数える使われなければ数えない何度も効いたページを拾えるパートナーとの試行の段階
何を数えるかで、対価の根拠が変わる — 取りにきた回数と、読まれた量は同じではありません

ただし、この段階ではパートナーとの試行として紹介されており、完成した課金方式ではありません。「その方向で検討が進んでいる」までが、いま確認できている範囲です。

なお、特定のプラットフォームと個別に契約する形での収益分配も、同じ潮流の一例として動いています。Perplexityが2025年8月に発表した収益分配モデルは、人間の訪問・検索での引用・AIエージェントの行動という3種のトラフィックに応じて収益を分ける仕組みです。詳しくは別記事『Comet Plusの収益分配とは?対象になる3つのトラフィック』(AIOM-035)で解説しています。

この章のまとめ

対価の議論の焦点は、回数から利用量へ移りつつあります。ここは結論が出ていない領域なので、動きを追う姿勢のほうが実務では役に立ちます。

07RSL標準は、コンテンツのライセンスと収益分配をAI検索最適化にどうつなぐんですか?

もう一つの動きが、業界標準としてライセンス条件を書く仕組みです。

非営利団体RSL Collectiveは、2025年9月10日にサンフランシスコで設立を発表しました(出典: RSL Collective)。オンラインクリエイターとパブリッシャーが、AIによる利用時に公正な対価を得られるようにすることを使命としています。

RSL標準の仕様バージョン1.0は、2025年12月10日に公式仕様として発行されました(出典: RSL Collective)。robots.txtに「License: [絶対URL]」というディレクティブを追加し、ライセンス条件を記述した文書の場所を宣言する方式です。

License: https://example.com/license.xml
User-agent: *
Allow: /

robots.txtに条件そのものを書き込むのではなく、条件を書いた文書の住所だけを置く。この形にすることで、細かい条件を別の場所で管理できます。

条件そのものは、robots.txtの外に置く住所だけを置いて、中身は別の文書で管理します条件そのものは、robots.txtの外に置く住所だけを置いて、中身は別の文書で管理します1条件の文書を置く許可と禁止を並べておく2住所を教えるLicense: の行を足すだけ3読んだ側が判断する文書を見て可否を決める
条件そのものは、robots.txtの外に置く — 住所だけを置いて、中身は別の文書で管理します

実装は2ステップです。先にライセンス文書を配置し、その後にrobots.txtから指し示します。

08RSLのライセンス文書には、AI検索でのコンテンツの扱いをどう書くんですか?

文書の最小構成は、次のようになります(出典: RSL Collective)。

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-train</prohibits>
    </license>
  </content>
</rsl>

<permits>要素で許可する活動を、<prohibits>要素で禁止する活動を列挙します。両方が存在する場合は、禁止の指定が優先されます(出典: RSL Collective)。どんな要素が使えるか、対価の条件をどう書くかは、RSL公式仕様に一覧があります。実装するときはそちらを直接お読みください。

ぶつかったときに残るのは、禁止のほうです書きすぎたときに、安全な側へ倒れる決まりですぶつかったときに残るのは、禁止のほうです書きすぎたときに、安全な側へ倒れる決まりですできると書いた欄させてよいことを並べる重ならなければ、そのまま効くpermitsさせたくないと書いた欄させたくないことを並べる同じ用途で重なると、こちらが残るprohibits
ぶつかったときに残るのは、禁止のほうです — 書きすぎたときに、安全な側へ倒れる決まりです

この「重なったら禁止が残る」という決まりは、書く側にとっては安全側に倒れる設計です。書き漏らしよりも、書きすぎたときのほうが事故が小さくなります。

発表時点で、Reddit・Yahoo・O'Reilly Mediaを含む15組織が支持を表明しています(出典: RSL Collective)。内訳は、RSL Collectiveと標準の両方を支持する12組織と、標準のみを支持する3社(Fastly・Quora・ADWEEK)です。

09LLMOの観点で、うちのコンテンツはどの初期値から決めればいいんですか?

大森部長
大森部長の発言

仕組みは分かりました。それで、うちはどう決めればいいんですか。全部拒否しておけば安全、では駄目なんですよね。

鈴木さん
鈴木さんの発言

はい、そこは事業の形によって答えが変わります。判断の軸は2つだけです。AI検索経由の露出を取りにいくのか。そして、コンテンツ自体が商品なのか。この2つで、だいたい決まります。

大森部長
大森部長の発言

逆に言えば、その2つを決めないと設定は決まらないと。

鈴木さん
鈴木さんの発言

そのとおりです。設定の話に見えて、実は事業の方針の話なんですよ。

判断の軸は、AI検索経由の露出を取りにいくか、コンテンツ自体が商品かの2点です。この2つを縦横に置くと、自社がどこに立っているかが見えます。

自社が立っている場所で、初期値が決まる縦と横の2つの軸だけで、だいたいの位置が決まります自社が立っている場所で、初期値が決まる縦と横の2つの軸だけで、だいたいの位置が決まります集客サイト・オウンドメディア引用経由の認知がほしい有料記事・調査レポート販売入口と中身を分けて出すドキュメント・サポートサイト正しく案内されると問い合わせが減る会員限定・受講生向け領域そもそも公開する場所ではない↑ AI検索経由の露出を取りにいくかコンテンツ自体が商品か →
自社が立っている場所で、初期値が決まる — 縦と横の2つの軸だけで、だいたいの位置が決まります

この章のまとめ

設定の話に見えて、中身は事業の方針の話です。露出を取りにいくか、コンテンツ自体が商品か。この2つが決まると、書く内容はほぼ自動的に決まります。

10事業タイプごとに、AI検索でのコンテンツの初期値はどう変わるんですか?

立ち位置が決まったら、初期値の考え方に落とします。次の表は、WEBMARKSの見解として示す目安です。

事業タイプsearchai-train判断の理由
集客サイト・オウンドメディアyesno引用経由の認知は取りたい。学習素材として無償提供する理由は薄い
有料記事・調査レポート販売一部yesno無料公開部分のみ許可し、有料領域はDisallowで分ける
ドキュメント・サポートサイトyes事業判断AIに正確に案内されること自体が問い合わせ削減につながる
会員限定・受講生向け領域nonoそもそも公開領域ではない。robots.txtより認証で守る

この表は初期値の目安であり、法的効果や収益性を保証するものではありません。特にai-inputは、Cloudflare自身が推測を避けてシグナルを配信していない領域です(出典: Cloudflare公式)。書くか書かないかは、自社で決めたうえで判断してください。

守り方は、3つの層に分けて考える線を引いてから、開ける範囲だけを考えます守り方は、3つの層に分けて考える線を引いてから、開ける範囲だけを考えますそもそも公開しない範囲robots.txtではなく認証で守る読ませたくない範囲Disallowで切り分ける誰でも読める範囲ここでsearchを開けるかを決める
守り方は、3つの層に分けて考える — 線を引いてから、開ける範囲だけを考えます

11シグナルを出してもコンテンツの無断利用が止まらないなら、AI対策として意味はあるんですか?

ここは正直に書きます。

Cloudflareは、Content Signalsがスクレイピングに対する技術的な対抗手段ではないと明記しています(出典: Cloudflare公式)。RSLもrobots.txtでライセンス条件の所在を宣言する方式であり、条件を無視する事業者を自動で締め出す仕組みではありません(出典: RSL Collective)。

意思表示にできること、できないこと止める力はありませんが、残す力はあります意思表示にできること、できないこと止める力はありませんが、残す力はありますできること用途ごとの意思を、機械が読める形で残す権利を留保したと示すあとの交渉や判断の材料にする残す側の働きできないこと意に反する収集を止める無視した相手を締め出す技術的な強制力はありません
意思表示にできること、できないこと — 止める力はありませんが、残す力はあります
  • できること: 利用目的別に、自社の意思を機械可読な形で残す
  • できないこと: 意思に反する収集を技術的に止める

一方でCloudflareは、Content Signalsで表明した制限を権利の明示的な留保と位置づけています。根拠として挙げているのは、EU著作権指令(2019/790)第4条です(出典: Cloudflare公式)。法的な効果がどこまで及ぶかは法域や個別事情で異なるため、自社での判断は専門家に確認することをおすすめします。

この章のまとめ

「止められない」ことと「意味がない」ことは別です。残した意思表示は、あとから交渉や判断の材料になります。そこまでが、いまの仕組みの守備範囲です。

12AI検索対策の担当者は、ライセンス方針を社内でどう決めていくんですか?

高梨課長
高梨課長の発言

決め方は分かってきました。ただ、これは私一人で決めていい話ではない気がしていて。

鈴木さん
鈴木さんの発言

そこは大事な感覚です。設定を書く人と、方針を決める人は別でいいんですよ。担当者がやるのは、決めるための材料を並べるところまでです。

高梨課長
高梨課長の発言

材料というのは、いまの設定と、選べる範囲ということですか。

鈴木さん
鈴木さんの発言

はい。その2つが並ぶと、決裁の場でその日のうちに決まることが多いです。

手順としては、次の順に進めると迷いにくくなります。

  1. 現状のrobots.txt設定を棚卸しする。各AIクローラーへの許可・拒否設定を確認します。クローラーごとの記述テンプレートは、別記事『AIクローラーrobots.txt設定ガイド』(AIOM-014)を参照してください。
  2. 利用目的別の意思を明確化する。検索表示は許可し学習利用は拒否する、といった方針を目的別に決めます。
  3. Content Signals・RSLの導入可否を検討する。Cloudflare管理下ならContent Signalsは既定で適用され、RSLはrobots.txtへの1行追加で導入できます。
  4. 個別プラットフォームとの収益分配契約も選択肢に入れる。標準化されたシグナルとは別の選択肢になります。
  5. 導入後も採用状況の広がりを確認し続ける。どちらも登場して間もない仕組みで、対応するAI事業者の範囲は今後変化しうるためです。
担当者が用意するのは、決めるための材料決めるのは事業側、並べるのが担当者の仕事です担当者が用意するのは、決めるための材料決めるのは事業側、並べるのが担当者の仕事です1いまの設定を読む何を表明しているか2止めたい使い道を選ぶ用途ごとに可否を出す3どこに書くかを決めるrobots.txtか、別の文書か4決めたあとも見にいく対応する事業者は変わる
担当者が用意するのは、決めるための材料 — 決めるのは事業側、並べるのが担当者の仕事です

この章のまとめ

担当者の仕事は、決めることではなく決められる状態にすることです。現状と選択肢を並べたら、そこから先は事業の判断に渡します。

13コンテンツライセンスのAI対策で、つまずくのはどこですか?

着手前の確認は、次のリストが目安になります。

  • 自社サイトのrobots.txt設定を棚卸しした
  • 検索・AI入力・AI学習それぞれへの利用方針を決めている
  • 自社の事業タイプに対応する初期値を確認した
  • Content Signals Policyの適用状況(Cloudflare利用時)を確認した
  • RSL標準の導入可否を検討した
  • 個別プラットフォームとの収益分配契約の可能性も把握している

この順に進めても、同じところで足を取られる方が多くいます。よく見かけるのは2つです。

よかれと思って、遠回りになる2つどちらも「早く安全にしたい」ときに起きますよかれと思って、遠回りになる2つどちらも「早く安全にしたい」ときに起きますまとめて閉じてしまう検索の側まで一緒に閉じます書いたところで終わりにする無視される可能性は残ります線を引いてから、開ける範囲を決める閉じるより先に、区切ります
よかれと思って、遠回りになる2つ — どちらも「早く安全にしたい」ときに起きます

この章のまとめ

遠回りはどちらも「よかれと思って」起きます。閉じる前に線を引く書いたあとも見にいく。この2つで、たいていは避けられます。

14よくある質問

Content Signals PolicyとRSL標準は併用できますか?

両者は異なる団体が策定した別々の仕組みですが、いずれもrobots.txtを拡張する形で実装されるため、技術的に排他的ではありません。ただし公式に併用方法が明記されているわけではなく、導入時は個別に確認が必要です。

Pay Per Crawlは日本のサイトでも利用できますか?

2025年7月の発表時点では非公開ベータでした。その後、Cloudflareの開発者向けドキュメントには、AI Crawl Controlの機能としてPay Per Crawlの価格設定手順が掲載されています。ただし、対象地域や日本語サイトでの提供条件について公式な明記は確認できていません。

これらのシグナルを設定しないと、AI企業に無断で使われ続けますか?

書いても書かなくても、最後はAI事業者側の対応方針しだいになります。シグナルは意思表示の手段であり、技術的な強制力を持たない点に留意してください(出典: Cloudflare公式)。

AI学習を拒否すると、AI検索の答えにも出なくなりますか?

用途を分けて表明できるのが、この記事で扱った仕組みの要点です。searchを許可したうえでai-trainを拒否する、という書き分けができます。一律に拒否した場合は、検索表示の側も閉じてしまう可能性があります。

小さなサイトでも、コンテンツライセンスを設定する意味はありますか?

意思表示を残すこと自体には、規模の条件がありません。robots.txtは小規模なサイトでも編集できます。まず現状を確認し、公開領域と非公開領域を線引きするところまでは、今日からでも進められます。

15まとめ|今日から始める3つのこと

巡回の可否をまとめて扱ってきたrobots.txtが、目的ごと・対価つきのライセンス表示へ移っていく動きは、もう具体的な形になっています。いずれも発展途上の仕組みなので、まずはrobots.txtの現状棚卸しと、利用目的別の方針決定から始めることをおすすめします。

この順に進めます

  1. いまのrobots.txtを開く

    何も決めていないつもりでも、すでに何かを表明している場合があります

  2. 止めたい使われ方を決める

    検索・その場の参照・学習の3つに分けて、それぞれ可否を決めます

  3. 公開領域と非公開領域を線引きする

    認証で守る範囲を先に切り出すと、残りの判断が軽くなります

AI検索では、こう聞かれています

  • AIに自社の記事を学習させないようにするには、robots.txtに何と書けばいいですか?

    「search・ai-input・ai-train」の章に記述例があります

  • AI学習は断りたいけれど、AI検索の答えには出たいときはどう設定しますか?

    同じ章で、searchを許可しai-trainを拒否する書き分けを扱っています

  • AIにコンテンツを使われたとき、対価を受け取る仕組みはありますか?

    「Pay Per Crawl」の章で、いまどこまで動いているかを整理しています

次に読むなら、この記事です