AIO時代にA/Bテストは通用するのか｜個別最適化の壁と代替設計

施策の効果を検証する手段として、A/Bテストは長年SEO・Web改善の基本でした。しかしAI検索の回答は、同じ質問でも実行するたびに内容が変わることがあります。この前提の変化は、A/Bテストという手法そのものの土台を揺るがします。本記事では、AI推奨の再現性を定量調査したSparkToroのレポートを精読し、AIO時代における検証設計のあり方を考えます。

01研究の結論(3行)

結論から言うと、伝統的なA/Bテストが前提とする「安定したベースラインとの比較」は、AI検索の回答には成立しにくくなっています。SparkToroの調査では、同一プロンプトを繰り返してもChatGPTとGoogle AIが同じブランドリストを返す確率は、100回に1回未満でした。一方で著者は、複数回実行した際の出現頻度(visibility%)という指標は、妥当な測定対象になりうると述べています。

02原典情報

• 調査名: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility
• 著者・所属: Rand Fishkin氏(SparkToro)。Patrick O'Donnell氏(Gumshoe.ai)がリサーチパートナーとして参加し、Kristy Morrison氏がデータの正規化とリサーチレビューで協力したと記載されています
• 掲載先: SparkToro公式ブログで2026年1月28日に公開されました。査読付き学術誌への掲載ではなく、企業による自主調査レポートです
• リンク: https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/

03研究手法の平易な解説

調査チームは、2025年11月から12月にかけて、600人のボランティアの協力を得ました。ChatGPT・Claude・Google AI Overviewへ、12種類のプロンプトを合計2,961回実行しています。

同じプロンプトを、異なるタイミング・異なる実行者で繰り返し投げ、返ってきたブランド・製品の推奨リストを記録しました。本記事が注目するのは、このうち「リストの完全一致率」と「リスト内の順序まで含めた一致率」の2つです。

04主要な発見(データ付き)

調査記事は、一致率について具体的な数値を示しています。

同一プロンプトに対してChatGPT・Google AIが同じブランドリストを返す確率は、100回に1回未満でした。 なおClaudeについては、原典はChatGPT・Google AIよりわずかに一貫性が高いとしつつ、同じ順序で提示される可能性はより低いと述べています。いずれにせよこの数字は、従来のA/Bテストが前提とする「同じ条件なら同じ結果が返る」という安定性の仮定と、正面から矛盾します。

一方で、著者は全てが測定不能だとは述べていません。「数十から数百のプロンプトを複数回実行した際の出現率(visibility%)は妥当な指標である」と明記しています。個々の実行結果ではなく、多数回試行した際の出現割合という統計量であれば、時系列での比較に意味を持たせられるという主張です。反対に「AIにおけるランキング順位」を提示するツールについては、誤解を招く分析だとして明確に退けています。

05限界と注意点

この調査自体が明記している限界として、まず統計的に有意な結果を得るために必要な実行回数の検証が不足している点があります。著者は「より多くのデータが必要であり、より多くの人がこの問いを検証すべきだ」と述べ、確定的な結論ではなく出発点として位置づけています。

AIO Journal 編集部として、次の2点も踏まえて読む必要があると考えます。第一に、著者のRand Fishkin氏はSparkToroというマーケティング分析ツールを提供する企業の代表であり、AI可視性計測というテーマは自社事業と近接しています。第二に、この調査は査読付き学術誌への掲載ではなく、企業ブログでの自主公開です。対象プロンプトも12種類・実行回数2,961回に限られ、業界や商材による違いまでは検証されていません。

06日本市場・実務への示唆

この調査は英語圏のプロンプト・英語圏のAIサービスを対象にしており、日本語での挙動を直接検証したものではありません。日本語プロンプトでも同程度の不一致が起きるかどうかは、確認できた範囲では明らかになっていません。

とはいえ、示唆自体は日本の実務にも応用できます。個々の実行結果を「勝ち負け」で判定する従来型のA/Bテストの発想は、AI推奨の文脈ではそのまま持ち込みにくいという点です。Googleも2026年1月22日、AI Modeにおける「Personal Intelligence」機能を発表しました。GmailやGoogleフォトの文脈を参照して応答を個人ごとに調整する機能で、個別最適化の方向性を公式に示した形です(出典: Google公式ブログ)。

ただしこの機能は、現時点では米国・英語・個人アカウントのGoogle AI Pro/Ultra契約者を対象としたLabs実験であり、利用にはオプトインが必要です。日本での提供は本記事執筆時点で確認できていません。それでも個別最適化が進む方向性そのものは前提として、検証設計を考える必要があります。

07追試・検証の視点(WEBMARKSならこう検証する)

WEBMARKSは、AI検索可視性を診断する自社ツール「aio-scan」と、月次でAI言及量を計測する「aio-report」を保有しています。SparkToro調査の手法を参考に、日本語コンテンツを対象にした簡易的な追試は仮説として設計できます。

具体的には、固定した質問セットを複数回・複数タイミングで実行し、「個別の一致率」ではなく「一定期間内の出現頻度」を主指標として記録する設計が考えられます。A/Bテストの発想を完全に捨てるのではなく、比較対象を1回の結果から複数回試行した際の出現頻度の分布へ切り替える設計が、現実的な折衷案になると私たちは考えます。

代替設計の具体的なパラメータ

「出現頻度で見る」という方針を実際の検証計画に落とすと、決めるべき項目は5つです。

最後の判定基準は、試行回数によって現実的な水準が変わります。施策の前後で同じ回数ずつ実行した場合、統計的に差と言える最小のポイント差は、二項分布の標準誤差から計算できます。次の表は出現率50%付近・信頼度95%を仮定した目安であり、実測値ではありません。

この表が示すのは、試行回数が少ないうちは大きな差しか検出できないという事実です。各30回の試行で出現率が5ポイント動いたとしても、それは施策の効果ではなく揺らぎの範囲内である可能性が高くなります。細かい改善の効果を測ろうとするほど、必要な試行回数は急激に増えます。

なお、この目安は各試行が互いに独立であることを前提にした計算です。同一アカウント・同一セッションでの連続実行には相関が生じうるため、実際に必要な回数はこれより多くなる可能性があります。まずは各30〜50回の規模で運用を回し、検出できる差の大きさを理解したうえで規模を判断することをおすすめします。

この手動調査の運用設計は、姉妹記事『無料で始めるAI可視性モニタリングの方法【週30分・今日から】』で紹介した週30分の運用モデルとも親和性があります。AI Share of Voiceの具体的な算出手順は、姉妹記事『AI Share of Voiceの計算方法｜3段階で算出する』を参照してください。Citation KPIの設計思想は、姉妹記事『KPIをクリックからCitationへ切り替える理由【実務指標の設計】』で扱っています。

08FAQ