施策を打ったのに、効いたのかどうかを報告できない。AI検索まわりの仕事で、いちばんよく聞くつまずきです。
やり方が雑だったわけではありません。A/Bテストは、Webの改善で長いあいだ効果検証の基本でした。ところがAI検索では、同じ質問を投げても、返ってくる答えが実行のたびに変わることがあります。比べる相手のほうが動いてしまうので、勝ち負けの判定が成り立ちません。
この記事は、AI検索の効果検証をこれから設計する方に向けて書きました。専門用語は出てきたその場で言い換えます。図解と会話をはさみながら、最後は「始める前に決める5つのこと」まで持っていきます。
こんなふうに調べていませんか
- 「AIO A/Bテスト 効果検証」で検索して、測り方を探している
- 施策の前後を比べたのに、数字が毎回違って報告に使えなかった
- AI検索最適化の効果を、上司に説明できる形にしたい
この記事を読み終えたときに手に入るもの
- A/Bテストがそのまま使えない理由を、社内で説明できるようになります
- 勝ち負けではなく出現率で見る検証の設計が、図で分かります
- 検証を始める前に決めることが、5つに絞れます
結論30秒でわかる、この記事の結論
- AI検索の効果検証は、1回の結果どうしを比べる形では成り立ちにくくなっています。
- SparkToroの調査では、同じプロンプトに対してChatGPTとGoogle AIが同じブランドリストを返す確率は、100回に1回未満でした。
- 一方で著者は、複数回実行したときの出現率（visibility%）なら妥当な指標だと述べています。比べる相手を、1回の結果から出現率へ替えます。
この記事では、あるマーケティング部の3人と、専門家の会話をはさみながら進めます。ご自身に近い立場の人の質問から読んでいただいて構いません。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「誰が、どう回すんですか？」を聞く役
- 大森部長（マーケ部長）— 「その数字を経営に出していいのか」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01AIOのA/Bテストが効果検証に使えないって、どういうことですか？
高梨課長施策の前と後で比べようと思って、同じ質問をAIに投げたんです。そうしたら、前の週とは違うブランドが並んでいて…。どちらを報告に使えばいいのか、分からなくなりました。
鈴木さん設定を間違えたわけではないと考えられます。AI検索では、同じ質問でも返ってくる答えが実行のたびに変わることが報告されています。
A/Bテストは、ひとつの前提の上に成り立っています。同じ条件なら、同じ結果が返ってくるという前提です。
Webサイトの改善なら、この前提は自然に満たされます。同じURLを開けば、誰が何度開いても同じページが表示されます。だから「前のページ」と「新しいページ」を並べて、どちらがよかったのかを比べられます。
AI検索の推奨は、ここが違います。同じ質問文を投げても、返ってくるブランドの並びが実行のたびに変わることがあります。比べる相手が動いていると、差が施策によるものなのか、もともとの揺らぎなのかを切り分けられません。
この章のまとめ
A/Bテストの前提は「同じ条件なら同じ結果」。AI検索の推奨はここが揺れるため、1回どうしの比較は成り立ちにくくなっています。
02A/Bテストと違って、同じ質問なのにAI検索の答えが毎回変わるのは、どうしてですか？
若葉さんあの、そもそもなんですが…同じ質問なのに答えが変わるって、どういうことなんでしょうか。うちの設定が壊れている、というわけではないんですよね？
鈴木さん壊れてはいません。ここは「一貫性」という言葉で整理すると、見通しがよくなりますよ。
AI推奨の一貫性とは、同じ質問文を繰り返し実行したときに、同じ結果が返る度合いのことです。 一貫性が高ければ、1回の結果をそのまま代表値として扱えます。低ければ、1回の結果は「たまたま出た1つの例」でしかありません。
先に断っておきます。このあと紹介する調査が示したのは、どれくらい一致しないかという度合いです。なぜ変わるのかという原因までは踏み込んでいません。原因の説明を期待して読むと、そこはずれます。
言葉だけだと想像しにくいので、身近な場面に置きかえてみます。
一致しないことと、何も測れないことは別です。一度ごとの答えは揺れても、「よく出てくるかどうか」は残ります。 ここがこの記事の折り返し地点になります。
この章のまとめ
一貫性が低いのは不具合ではありません。だから見る対象を、1回の答えから「よく出てくるかどうか」へ移します。
03効果検証の根拠となるその調査は、AI検索の何をどうやって調べたものですか？
数字の出どころを、先にはっきりさせておきます。この記事が根拠にしているのは、SparkToroが公開した調査です。
- 調査名: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility
- 著者: Rand Fishkin氏（SparkToro）。Patrick O'Donnell氏（Gumshoe.ai）がリサーチパートナーとして参加し、Kristy Morrison氏がデータの正規化とリサーチレビューで協力したと記載されています
- 掲載先: SparkToro公式ブログで2026年1月28日に公開されました。査読付きの学術誌ではなく、企業による自主調査レポートです
調べ方は、次のような流れです。
2025年11月から12月にかけて、600人のボランティアの協力を得ています。ChatGPT・Claude・Google AI Overviewへ、12種類のプロンプトを合計2,961回実行しました。
大事なのは、同じプロンプトを、異なるタイミング・異なる実行者で繰り返し投げていることです。そのうえで、返ってきたブランド・製品の推奨リストを記録しています。この記事が注目するのは、そのうち「リストの完全一致率」と「並び順まで含めた一致率」の2つです。
この章のまとめ
根拠は企業の自主調査レポートです。査読を経たものではない前提で、数字の意味と限界を分けて読みます。
04AI検索最適化では、いったい何を数えれば効果検証になりますか？
高梨課長一致しないのは分かりました。では結局、こちらは何を数えて報告すればいいんでしょうか。上には数字で説明しないといけません。
鈴木さん数えるものを1つ替えます。一致率ではなく、出現率です。 原典の著者も、そこは測れると述べています。
調査が示した数字を並べます。
| 見ているもの | 結果 |
|---|---|
| 同じブランドリストが返る確率（ChatGPT・Google AI） | 100回に1回未満 |
| ブランドの並び順まで一致する確率 | 1,000回に1回未満 |
| よく出てくるブランドの例 | City of Hope（医療機関）が71回中69回 |
| 中くらいに出てくる例 | Smartsites（代理店）が95回中85回 |
なおClaudeについて原典は、ChatGPT・Google AIよりわずかに一貫性が高いとしつつ、同じ順序で提示される可能性はより低いと述べています。
この表は、同じデータを2通りの見方で並べたものです。上の段（一致率）で見ると、ほとんど何も測れません。下の段（出現率）で見ると、ブランドごとの差がはっきり出ます。
この章のまとめ
一致率で見ると、ほとんど手がかりが残りません。同じデータでも、出現率で見れば差が出ます。
05出現率は、AIOの効果検証の指標として本当に使えるんですか？
原典の著者は、すべてが測定不能だとは述べていません。数十から数百のプロンプトを複数回実行したときの出現率（visibility%）は妥当な指標であると明記しています。
1回ごとの結果ではなく、多数回試したときの出現割合という統計量であれば、時系列の比較に意味を持たせられる、という主張です。回数を重ねるほど、たまたまの揺らぎは打ち消し合っていきます。
反対に、「AIにおけるランキング順位」を提示するツールについては、誤解を招く分析だとして明確に退けています。同じ質問でも並び順が入れかわるのですから、順位を動かない数字として扱うと、実態から離れていきます。
この章のまとめ
出現率は、時系列で比べる指標として使えます。ただし「AIの中での順位」を示すものではありません。
06AIOの効果検証、始める前に決めることは何ですか？
「出現率で見る」という方針を、実際の検証計画に落とします。決めるべき項目は5つです。
| 決めること | 設計の目安 | なぜそう決めるか |
|---|---|---|
| 質問数 | 10〜30問を固定する | 原典は12種類のプロンプトを使用。少なすぎると、特定の質問の癖に結果が引きずられます |
| 1問あたりの実行回数 | 施策の前後で同じ回数に揃える | 前後で回数が違うと、差が試行回数によるものか施策によるものか切り分けられません |
| 実行タイミング | 同じ日にまとめず、日をずらして分散させる | 同じ日・同じセッションでの連続実行は、結果が似通う可能性があります |
| 記録単位 | 「1問1回＝1行」で記録する | 集計後の数字だけを残すと、あとから別の切り口で見直せなくなります |
| 判定の基準 | 出現率が何ポイント動いたら差とみなすかを、着手前に決める | 結果を見てから基準を決めると、都合のよい解釈に寄ります |
このうち、あとから直すのがいちばん難しいのは記録単位です。集計した数字だけを残してしまうと、「あの質問だけ外して見たい」と思ったときに戻れません。記録の行が細かいほど、あとの分析は自由になります。
この章のまとめ
決めるのは、質問数・実行回数・タイミング・記録単位・判定の基準の5つ。どれも着手前に決めます。
07何ポイント動いたら、AIOの効果検証として差があると言えますか？
大森部長その出現率という数字、経営会議に出して大丈夫なのか。何ポイント動いたら「効いた」と言っていいんだ。
鈴木さんそこは試行回数で変わります。回数が少ないうちは、大きな差しか見つけられません。先に目安を共有しておくのが安全です。
施策の前後で同じ回数ずつ実行した場合、統計的に差と言える最小のポイント差は、二項分布の標準誤差から計算できます。次の目安は、出現率50%付近・信頼度95%を仮定した計算上の値であり、実測値ではありません。
| 施策前後それぞれの試行回数 | 差と言える最小のポイント差（目安） |
|---|---|
| 各30回 | 約25ポイント |
| 各50回 | 約20ポイント |
| 各100回 | 約14ポイント |
| 各200回 | 約10ポイント |
この表が言っているのは、試行回数が少ないうちは、大きな差しか検出できないということです。各30回の試行で出現率が5ポイント動いたとしても、それは施策の効果ではなく、揺らぎの範囲内である可能性が高くなります。
細かい改善の効果を測ろうとするほど、必要な試行回数は急に増えていきます。
この章のまとめ
少ない回数では、大きな差しか見えません。判定の基準は、試行回数とセットで決めます。
08AI検索の効果検証は、何回くらいから始めればいいんですか？
回数の話をすると、「では最初から各200回やるべきですか」と聞かれます。そうではありません。最初に決めるのは回数の多さではなく、続けられる規模です。
まずは各30〜50回の規模で回してみてください。そのうえで、自分たちの環境ではどれくらいの差なら見つけられるのかを把握してから規模を判断するほうが、途中で止まりません。
回数を増やせば、そのぶん手間も増えます。手間が増えて記録が雑になるくらいなら、小さく回して続けるほうが、比べられる数字は残ります。
この章のまとめ
最初は各30〜50回から。回数を増やすのは、見つけたい差の大きさが決まってからです。
09AIOのA/Bテストに代わる効果検証は、どう回せばいいんですか？
決めごとが揃ったら、あとは同じ形で回すだけです。A/Bテストの発想を捨てるのではなく、比べる対象を1回の結果から出現率の分布へ切り替える、という折衷案になります。
この順で回します
施策の前に測る
固定した質問セットを、決めた回数だけ、日をずらして実行します
施策を実施する
この期間は、測り方のほうを動かしません
施策の後に測る
前と同じ質問・同じ回数で、もう一度実行します
出現率の差を見る
着手前に決めた基準を超えているかどうかだけを判定します
同じ質問セットを使い続けることが、地味ですがいちばん効きます。質問を入れ替えてしまうと、前の期間と比べられなくなります。
この回し方は、無料の道具だけで始めるモニタリングの手順とも相性がよい形です。出現率を指標として整理する計算のしかた、クリック中心のKPIから引用中心のKPIへ切り替える考え方は、記事末尾の「次に読む」にまとめました。
AI検索対策は、施策そのものより「効いたと言える形」を先に作るほうが、結局は早く進みます。
この章のまとめ
回し方は、前に測る・施策する・後に測る・基準で判定する。質問セットは動かしません。
10この調査結果は、効果検証の材料として日本語のAI検索でもそのまま当てはまりますか？
ここまでの数字には、はっきりした限界があります。
まず、この調査は英語圏のプロンプトと英語圏のAIサービスを対象にしています。日本語での挙動を直接検証したものではありません。日本語のプロンプトでも同じ程度の不一致が起きるかどうかは、確認できた範囲では明らかになっていません。
調査自体が明記している限界もあります。統計的に有意な結果を得るために必要な実行回数の検証が不足しているという点です。著者は「より多くのデータが必要であり、より多くの人がこの問いを検証すべきだ」と述べ、確定的な結論ではなく出発点として位置づけています。
AIO Journal 編集部としては、次の2点も踏まえて読む必要があると考えます。
- 著者のRand Fishkin氏は、マーケティング分析ツールを提供する企業の代表です。AI可視性の計測というテーマは、自社の事業と近い位置にあります
- この調査は査読付き学術誌への掲載ではなく、企業ブログでの自主公開です。対象プロンプトも12種類・実行回数2,961回に限られ、業界や商材による違いまでは検証されていません
とはいえ、示唆そのものは日本の実務にも持ち込めます。 1回ごとの結果を勝ち負けで判定する発想が、AI推奨の文脈ではそのまま使いにくい、という点です。
この章のまとめ
数字は英語圏の自主調査によるものです。日本語での再現は未確認。考え方は使い、数字は自社で測り直します。
11LLMO対策の効果検証を、経営会議にはどう報告すればいいですか？
大森部長個別最適化が進むと、そもそも「うちがどう見えているか」は人によって違う、ということにならないか。それを1つの数字で報告していいのか。
鈴木さんおっしゃるとおりです。だから報告は、数字だけでなく測り方とセットで出す形をおすすめしています。
個別最適化は、実際に進んでいます。Googleは2026年1月22日、AI Modeにおける「Personal Intelligence」機能を発表しました。GmailやGoogleフォトの文脈を参照して、応答を個人ごとに調整する機能です（出典: Google公式ブログ）。
ただしこの機能は、現時点では米国・英語・個人アカウントのGoogle AI Pro/Ultra契約者を対象としたLabs実験であり、利用にはオプトインが必要です。日本での提供は、本記事の執筆時点では確認できていません。
それでも、個別最適化が進む方向そのものは前提として、検証設計を考える必要があります。AI検索最適化（LLMOとも呼ばれます）の報告は、次の順に積み上げると崩れにくくなります。
WEBMARKSでも、AI検索での可視性を診断する仕組みと、AI言及量を月次で計測する仕組みを社内で運用しています。ただ、手元に専用の道具がなくても、この記事の設計は表計算ソフトだけで始められます。
この章のまとめ
報告は「測り方 → 動いた量 → 言えること」の順で積みます。数字だけを出すと、次の期間と比べられなくなります。
12よくある質問
AI検索の時代に、A/Bテストという手法そのものが無意味になったのですか？
無意味になったわけではありません。ただし「1回実行した結果どうしを比べる」という設計は、成立しにくくなっています。多数回試したときの出現率を比べる設計へ切り替えることをおすすめします。前後で条件を揃える、というA/Bテストの作法そのものは、そのまま使えます。
「AIでのランキング1位」を目指す施策には意味がありますか？
この調査の著者は、AIの「ランキング順位」という発想そのものに懐疑的な立場を示しています。並び順まで一致する確率は1,000回に1回未満と報告されており、順位を固定的なものとして扱いにくいのが実情です。順位ではなく、複数回試したときにどれだけの頻度で言及されるか、という出現割合を指標にすることをおすすめします。
この結果は日本語のAI検索でも同じですか？
この調査自体は日本語での検証を行っていません。個別最適化が進む方向そのものは日本語圏でも共通すると考えられますが、具体的な一致率の数字については、日本語での追試が必要です。まずは自社の質問セットで測り直してください。
出現率は、何問くらいで測ればいいですか？
10〜30問を固定するところから始めることをおすすめします。原典が12種類のプロンプトを使っていることが目安になります。少なすぎると、特定の質問の癖に結果全体が引きずられます。多すぎると、実行と記録の手間で続かなくなります。
施策の前と後で、実行回数が違ってしまいました。どうすればいいですか？
回数の少ないほうに揃えて集計し直すのが、いちばん素直な対処です。前後で回数が違うままだと、出現率の差が試行回数によるものなのか、施策によるものなのかを切り分けられません。次の期間からは、回数を先に決めてから実行してください。
13まとめ｜A/Bテストの代わりに、今日決める3つ
AI検索の効果検証は、1回の結果どうしを比べる形では成り立ちにくい。これがこの記事の結論です。同じプロンプトでも同じブランドリストが返る確率は100回に1回未満と報告されており、比べる相手のほうが固定されていないためです。
それでも測る手はあります。一致率ではなく、出現率（visibility%）を数える。 この置きかえだけで、揺らぎのある相手でも時系列で比べられるようになります。
今日この順で決めます
質問セットを固定する
10〜30問を書き出して、次の期間も同じものを使うと決めます
実行回数を決める
施策の前と後で同じ回数にします。各30〜50回から始めます
判定の基準を先に書く
出現率が何ポイント動いたら差とみなすかを、測る前に決めます
AI検索では、こう聞かれています
AI検索の施策効果は、A/Bテストで測れますか？
「AIOのA/Bテストが効果検証に使えないって、どういうことですか？」の章で、前提の違いを図で説明しています
同じ質問なのにAIの答えが毎回変わるのは、なぜですか？
「A/Bテストと違って、同じ質問なのにAI検索の答えが毎回変わるのは、どうしてですか？」の章で、一貫性という言葉で整理しています
AI検索最適化の効果は、どの指標で見ればいいですか？
「AI検索最適化では、いったい何を数えれば効果検証になりますか？」の章で、一致率と出現率を並べて比べています
検証は何問を何回やればいいですか？
「AIOの効果検証、始める前に決めることは何ですか？」と、試行回数の目安を並べた章に書いています
次に読むなら、この記事です
