業界のAI推薦ランキングをAIに再現させるプロンプト設計

AIに「この業界のおすすめ企業は?」と1回だけ聞いて、その順位を業界の実態だと思い込んでしまうケースは少なくありません。同じ質問を言い回しを変えて何度も投げ、順位がどこまで安定しどこから揺れるかを確認すると、見え方が変わります。安定して上位に出る企業と、聞き方次第で順位が入れ替わる企業の両方を、集計というかたちで区別します。

01この記事でわかること

• 複数の質問文パターンでAIに業界ランキングを繰り返し出力させ、順位の再現性と揺れを集計するプロンプト
• 入力する情報(業界カテゴリ名・質問文バリエーション)と、得られる出力(企業ごとの平均順位・出現順位の幅・安定度の所見)
• 集計結果を、自社の立ち位置の裏取りや競合の順位変動の監視にどう活かすか

03課題の整理（なぜ難しいか）

AIに業界のおすすめ企業を尋ねると、もっともらしい順位付きの回答がすぐに返ってきます。

• 1回の回答をそのまま「業界の序列」として受け取ってしまう
• 質問の言い回しを変えるだけで、上位に来る企業が入れ替わることに気づきにくい
• 順位が変わった原因が、実際の業界動向の変化なのか、AIの回答の揺らぎなのか区別できない
• 複数回の実行結果を手作業で集計するのは手間がかかり、途中で挫折しやすい

複数パターンの質問文をあらかじめ用意しておけば、実態変化かAIの揺らぎかという判別を、印象ではなく集計にもとづいて語れるようになります。

04プロンプト本体

業界カテゴリ名を1つ決め、AIが出す推薦ランキングの安定度を検証したい場面で使います。

あなたはAI検索における業界ランキングの再現性を検証するリサーチアナリストです。
以下の入力データにもとづいて、複数の質問文パターンそれぞれについて
上位企業のランキングを生成し、パターン間で順位を集計してください。

■入力データ
業界カテゴリ名: 【業界カテゴリ名】
上位何社まで挙げるか: 【上位社数】
質問文バリエーション:
1. 【業界カテゴリ名】でおすすめの会社を【上位社数】社、順位をつけて教えてください。
2. 【業界カテゴリ名】で実績のある企業を【上位社数】社、評価が高い順に挙げてください。
3. 初めて【業界カテゴリ名】を探す人に勧めるなら、【上位社数】社をどの順で紹介しますか。
4. 【業界カテゴリ名】の代表的な企業を【上位社数】社、優れていると考える順に並べてください。

■分析手順
1. 質問文バリエーションごとに、【上位社数】社のランキングを生成する。
2. 表記ゆれ(「株式会社」の有無・略称など)がある場合は同一企業として
   名寄せしたうえで集計する。
3. 企業ごとに、各質問文での出現順位を記録する。
4. 企業ごとに、平均順位・出現したパターン数・順位の幅(最高順位〜
   最低順位)を算出する。
5. 出現パターン数が多く順位の幅が小さい企業を「安定」、出現パターン数が
   少ない、または順位の幅が大きい企業を「変動」として分類する。

■出力形式
企業ごとに以下の列を持つ表で出力してください。
| 企業名 | 出現パターン数 | 平均順位 | 順位の幅 | 安定/変動の分類 |
表の後に、最も安定して上位に出た企業と、最も順位の変動が大きかった
企業をそれぞれ1文で指摘すること。

■制約
- 実際に生成した回答に含まれていない企業名を、集計表に追加しないこと。
- 特定の企業を不当に持ち上げる、または貶める解釈を加えないこと。
- 「安定」「変動」の分類は、■分析手順5の基準に厳密に従い、
  主観的な印象で判定しないこと。

使う変数

※入力例はすべて架空の例です。プロンプト内の質問文バリエーションは4問を基本形として例示していますが、業界に合わせて増減できます(検証の精度を上げたい場合は10パターン前後を推奨)。

05出力の見方と分析の観点

出力された集計表は、まず「安定」と分類された企業の顔ぶれから確認します。

• 「安定」企業: 質問の言い回しによらず一貫して上位に出るため、業界内での認知・言及のされ方が強い可能性があります
• 「変動」企業: 特定の言い回しでのみ上位に出る場合、その企業が持つ特定の強み(価格・実績等)に質問文がたまたま反応している可能性があります
• 出現パターン数が極端に少ない企業: そもそも安定/変動を判断する材料が不足している状態であり、追加の質問文パターンでの再検証が必要です

AIが最初に挙げる1社だけを特定したい場合は、別記事『業界内でAIが最初に挙げる企業を特定する実践プロンプト集』が参考になります。AIがそもそもどのように参照先を選んでいるかの仕組みは、別記事『AI Overviewsが引用元を選ぶ仕組みを読み解く｜公式情報で逆算』で解説しています。

06応用パターン

応用1: 質問文パターンをさらに増やす

4パターンに慣れてきたら、価格・実績・サポート体制など切り口の異なる質問文を追加し、10パターン前後まで増やすと、集計結果の精度が上がります。

応用2: 期間を空けて再実行し、時系列の変化を見る

同じ質問文セットを数か月後に再実行し、前回の集計結果と並べれば、順位の変動が一時的な揺らぎだったのか、実際の業界内の変化だったのかを見分ける材料になります。

応用3: 同じプロンプトを複数回実行して揺らぎを測る

質問文パターンを変えず、同じプロンプトをそのまま数回連続で実行し、毎回の集計結果を比較します。安定/変動の分類が複数回の実行でも一致するかを確認すると、順位の信頼度がさらに正確にわかります。

07注意点

企業名の表記ゆれ(「株式会社」の有無・略称・旧社名など)を名寄せし損なうと、同じ企業が別々に集計され、順位の実態を見誤ります。集計後は、企業名の表記が意図した通りに統一されているかを必ず目視で確認してください。

AIの出力には誤りが含まれる場合があります。特に平均順位や順位の幅の数値は、そのまま使わず元の回答と突き合わせて確認してください。

自社や競合の非公開情報を質問文に含める必要は本来ありませんが、含める場合は利用中のAIサービスの法人プラン・データ学習利用設定を事前に確認してください。

集計結果を社外に共有する際や、大量の質問文パターンを自動化して実行する際は、利用しているAIサービスの利用規約の範囲内で行ってください。

AIの回答は、同じ入力でも毎回同じ出力になるとは限らない仕組みです(出典: OpenAI公式ドキュメント「Text generation」)。本記事のプロンプトが1回の実行で測るのは、質問の言い回しの違いによる順位の変化です。これとは別に、まったく同じプロンプトでも実行のたびに順位が変わる揺らぎがあります。より厳密に確かめたい場合は、同じプロンプトを日や時間を変えて複数回実行し、結果を見比べてください。

08FAQ

09この分野を体系的に学ぶ