AIクローラーが対価なくコンテンツを収集する状態に、業界側からの反応が具体化してきました。Cloudflareは2025年、robots.txtの拡張とクロール課金の仕組みを相次いで発表しています。
本記事は、Cloudflareの公式発表とRSL(Really Simple Licensing)標準を一次情報として使います。これらを土台に、自社コンテンツのライセンス方針を設計する視点を整理します。
01この記事でわかること
- Cloudflareが定めた「Content Signals Policy」の3シグナル
- 「Pay Per Crawl」が示すクロール単位の対価請求モデル
- RSL標準が目指す機械可読ライセンスの仕組み
- 事業タイプ別に見たシグナル設定の初期値（WEBMARKSの見解）
- 現時点の収益分配モデルが抱える限界
02結論サマリー
2025年後半、AIによるコンテンツ利用の条件を機械可読に宣言する仕組みが相次いで登場しました。主な動きは3つです（出典: Cloudflare公式、RSL Collective）。
| 発表日 | 仕組み | 何ができるようになるか |
|---|---|---|
| 2025年7月1日 | Pay Per Crawl（Cloudflare・非公開ベータ） | AIクローラーのアクセスに1リクエスト単位で課金する |
| 2025年9月10日 | RSL標準（RSL Collective） | robots.txtへの1行追加で、ライセンス条件の所在を宣言する |
| 2025年9月24日 | Content Signals Policy（Cloudflare） | search・ai-input・ai-trainの3目的を個別にyes／noで表明する |
Cloudflareの管理下にある380万以上のドメインには、AI学習利用を拒否するシグナルがすでにデフォルトで適用されています（出典: Cloudflare公式）。
これらは、クロール可否を「許可・拒否」の二択で扱ってきた従来のrobots.txtから、条件付きライセンスへ移行する動きだと整理できます。
03コンテンツライセンス戦略とは（基礎定義）
従来のrobots.txtは、クローラーの巡回を許可するか拒否するかの二択しか表現できませんでした。検索インデックス化とAI学習利用は、同じクローラーであっても目的が異なる場合があります。この目的の違いを区別して意思表示する仕組みが、2025年後半にかけて相次いで登場しています。
04robots.txtの限界とContent Signals Policyの狙い
Cloudflareは、robots.txtに「Content-Signal」という機械可読な語彙を追加しました。コンテンツの3つの利用目的を個別に表明できる仕組みです（出典: Cloudflare公式）。
| シグナル | 対応する利用目的 |
|---|---|
| search | 検索インデックスを構築し、リンクや抜粋を表示する用途 |
| ai-input | RAGやグラウンディング等、AIモデルへのリアルタイム入力として使う用途 |
| ai-train | AIモデルの訓練・ファインチューニングに使う用途 |
3つのシグナルは、それぞれyes・noで表明します。記述はrobots.txtのUser-agentグループの中に置きます（出典: Cloudflare公式）。検索は許可し、学習利用を拒否し、ai-inputについては意思表示しない場合の書き方は次のとおりです。
User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /ai-inputを記述しないことは、拒否ではなく「選好を表明していない」状態を意味します（出典: Cloudflare公式）。
この方針は、Cloudflareが管理するrobots.txtを提供している380万以上のドメインにデフォルト適用されています（出典: Cloudflare公式）。設定内容は「Content-Signal: search=yes, ai-train=no」、つまり検索は許可・AI学習は拒否です。ai-inputについては、顧客の意向が分からず推測したくないという理由から、Cloudflareはシグナル自体を配信していません（出典: Cloudflare公式）。ただし、Content Signalsはあくまで選好の表明であり、スクレイピングに対する技術的な対抗手段ではありません（出典: Cloudflare公式）。
05Pay Per Crawl: クロール単位での対価請求
Cloudflareは2025年7月1日、「Pay Per Crawl」の非公開ベータを発表しました（出典: Cloudflare公式）。パブリッシャーがAIクローラーへのアクセスを許可・課金・ブロックの3択から選べる仕組みです。
料金は、サイト全体で統一された1リクエストあたりの価格として設定します。AIクローラーが課金対象のコンテンツにアクセスすると、HTTP 402（Payment Required）が返されます（出典: Cloudflare公式）。価格は「crawler-price」ヘッダーで通知される仕組みです。クローラー側は「crawler-exact-price」「crawler-max-price」ヘッダーで支払い意思を示すことで、アクセスが可能になります。
その1年後にあたる2026年7月1日、Cloudflareは続きの投稿を公開しました。「Pay Per CrawlをPay Per Useへと形づくり始めている」という内容です（出典: Cloudflare公式）。
背景にあるのは、クロール回数と実際の利用量が一致しない点です。1ページが1回のクロールで数千の回答に引用されることもあれば、何度クロールされても一度も使われないこともあります（出典: Cloudflare公式）。ただし、この段階ではパートナーとの試行として紹介されており、完成した課金方式として提供されているわけではありません。
06RSL標準: 機械可読ライセンスの業界標準化
非営利団体RSL Collectiveは、2025年9月10日にサンフランシスコで設立を発表しました（出典: RSL Collective）。オンラインクリエイターとパブリッシャーが、AIによる利用時に公正な対価を得られるようにすることを使命としています。
RSL標準の仕様バージョン1.0は、2025年12月10日に公式仕様として発行されました（出典: RSL Collective）。robots.txtに「License: [絶対URL]」というディレクティブを追加し、ライセンス条件を記述した文書の場所を宣言する方式です。
License: https://example.com/license.xml
User-agent: *
Allow: /実装は2ステップです。先にライセンス文書を配置し、その後にrobots.txtから指し示します。文書の最小構成は、次のようになります（出典: RSL Collective）。
<rsl xmlns="https://rslstandard.org/rsl">
<content url="/">
<license>
<permits type="usage">search</permits>
<prohibits type="usage">ai-train</prohibits>
</license>
</content>
</rsl><permits>要素で許可する活動を、<prohibits>要素で禁止する活動を列挙します。両方が存在する場合は、禁止の指定が優先されます（出典: RSL Collective）。要素の全種類と利用条件・対価の記述方法は、RSL公式仕様を直接参照してください。
発表時点で、Reddit・Yahoo・O'Reilly Mediaを含む15組織が支持を表明しています（出典: RSL Collective）。内訳は、RSL Collectiveと標準の両方を支持する12組織と、標準のみを支持する3社（Fastly・Quora・ADWEEK）です。
Perplexityが2025年8月に発表した収益分配モデルも、同様の潮流の一例です。人間の訪問・検索での引用・AIエージェントの行動という3種のトラフィックに応じて収益を分配する仕組みです。詳しくは別記事『Perplexity「Comet Plus」収益分配の仕組みを解説』で解説しています。
07自社コンテンツのライセンス方針をどう設計するか
これらの仕組みを踏まえ、自社コンテンツのライセンス方針を設計する手順を整理します。
- 現状のrobots.txt設定を棚卸しする。各AIクローラーへの許可・拒否設定を確認する。robots.txtの設計テンプレートは、別記事『AIクローラー別robots.txt設計テンプレ集【2026年版】』を参照してください。
- 利用目的別の意思を明確化する。検索表示は許可し学習利用は拒否する、といった方針を目的別に決める。
- Content Signals・RSLの導入可否を検討する。Cloudflareの管理下にあるサイトはContent Signalsが既定で適用される点、RSLはrobots.txtへの1行追加で導入できる点を踏まえて判断する。
- 個別プラットフォームとの収益分配契約も選択肢に入れる。Comet Plusのような特定プラットフォームとの契約は、標準化されたシグナルとは別の選択肢となる。
- 導入後も採用状況の広がりを継続的に確認する。RSL・Content Signalsとも登場して間もない仕組みであり、対応するAI事業者の範囲は今後変化しうる。
手順2で迷うことが多いため、事業タイプ別の初期値の考え方をWEBMARKSの見解として示します。判断の軸は、AI検索経由の露出を取りにいくか、コンテンツ自体が商品かの2点です。自社が下表のどこに当たるかを決めてから、手順3へ進んでください。
| 事業タイプ | search | ai-train | 判断の理由 |
|---|---|---|---|
| 集客サイト・オウンドメディア | yes | no | 引用経由の認知は取りたい。学習素材として無償提供する理由は薄い |
| 有料記事・調査レポート販売 | 一部yes | no | 無料公開部分のみ許可し、有料領域はDisallowで分ける |
| ドキュメント・サポートサイト | yes | 事業判断 | AIに正確に案内されること自体が問い合わせ削減につながる |
| 会員限定・受講生向け領域 | no | no | そもそも公開領域ではない。robots.txtより認証で守る |
この表は初期値の目安であり、法的効果や収益性を保証するものではありません。特にai-inputは、Cloudflare自身が推測を避けてシグナルを配信していない領域です（出典: Cloudflare公式）。自社で意思決定したうえで明示的に記述するかどうかを決めてください。
08収益分配モデルの現状と限界
Cloudflareは、Content Signalsがスクレイピングに対する技術的な対抗手段ではないと明記しています（出典: Cloudflare公式）。RSLもrobots.txtでライセンス条件の所在を宣言する方式であり、条件を無視する事業者を自動で締め出す仕組みではありません（出典: RSL Collective）。
- できること: 利用目的別に、自社の意思を機械可読な形で残す
- できないこと: 意思に反する収集を技術的に止める
一方でCloudflareは、Content Signalsで表明した制限を権利の明示的な留保と位置づけています。根拠として挙げているのは、EU著作権指令（2019/790）第4条です（出典: Cloudflare公式）。法的な効果が実際にどこまで及ぶかは法域や個別事情によって異なるため、自社での判断は専門家に確認することをおすすめします。
収益分配モデルが実際にどの程度の収益をもたらすか、また日本企業でどの程度導入が進んでいるかについて、公開されている比較可能なデータは現時点で確認できていません。
09チェックリスト
- 自社サイトのrobots.txt設定を棚卸しした
- 検索・AI入力・AI学習それぞれへの利用方針を決めている
- 自社の事業タイプに対応する初期値（§事業タイプ別の表）を確認した
- Content Signals Policyの適用状況（Cloudflare利用時）を確認した
- RSL標準の導入可否を検討した
- 個別プラットフォームとの収益分配契約の可能性も把握している
10よくある失敗
robots.txtで一律に「Disallow」を設定し、検索表示までブロックしてしまう例が見られます。検索での表示は許可しつつAI学習だけを拒否するといった、目的別の細かい意思表示ができる点が、Content Signals・RSLの利点です。
もう一つの失敗は、シグナルを設定しただけで対応が完了したと考えてしまうことです。これらは選好の表明にとどまり、単に無視される可能性があるとCloudflare自身が述べています（出典: Cloudflare公式）。その前提を理解したうえで、過度な期待をしないことが重要です。
11FAQ
Q. Content Signals PolicyとRSL標準は併用できますか？
両者は異なる団体が策定した別々の仕組みですが、いずれもrobots.txtを拡張する形で実装されるため、技術的に排他的ではありません。ただし公式に併用方法が明記されているわけではなく、導入時は個別に確認が必要です。
Q. Pay Per Crawlは日本のサイトでも利用できますか？
2025年7月の発表時点では非公開ベータでした。その後、Cloudflareの開発者向けドキュメントには、AI Crawl Controlの機能としてPay Per Crawlの価格設定手順が掲載されています。ただし、対象地域や日本語サイトでの提供条件について公式な明記は確認できていません。
Q. これらのシグナルを設定しないと、AI企業に無断で使われ続けますか？
シグナルの有無にかかわらず、AI事業者側の対応方針に依存します。シグナルは意思表示の手段であり、技術的な強制力を持たない点に留意してください（出典: Cloudflare公式）。
12まとめ
コンテンツのクロール可否を一律に扱ってきた従来のrobots.txtから、目的別・対価付きのライセンス表示へ移行する動きが具体化しています。自社の立ち位置は、まずrobots.txtの現状棚卸しと利用目的別の方針決定から始めることをおすすめします。Content Signals・RSL・個別プラットフォーム契約のいずれも発展途上の仕組みであることを踏まえ、継続的に動向を追う姿勢が欠かせません。
