株式会社Iteraは、LLMO対策ツール「LLMOチェキ」において、同一の質問を複数回実行し、AI検索での自社ブランドの露出を「確率と95%信頼区間」で表示する独自の統計計測手法「n-shot統計計測」を提供しています。生成AIの回答が毎回変動する特性に対応し、単発計測の落とし穴を解消するとしています。
AI検索の計測における精度課題
ChatGPTやGeminiなどの生成AIは、同じ質問をしても実行のたびに異なる回答を返します。ブランドの顔ぶれや順番が変わる仕様であるにもかかわらず、多くの現場では1回の結果だけで判断が行われています。
この「単発計測」では、たまたま言及された回を見て安心したり、言及されなかった回を見て施策を止めたりするリスクが生じます。日々の数値の上下がAIの気まぐれなのか施策の成果なのか区別できないため、同社はこの問題を最初に解くべき課題と位置づけました。
Ms.ガジェット「n-shot統計計測」の仕組みと設計
「LLMOチェキ」のn-shot統計計測は、同一プロンプトとAIエンジンの組み合わせを複数回実行し、自社ブランドの露出を確率として算出します。さらに、その確率にはWilson方式による95%信頼区間の幅が併記されます。
| 計測設定 | 実行回数 |
|---|---|
| 日次計測 | n=3 |
| 週次・オンデマンド計測 | n=10 |
※計測設定に応じた複数回の実行により、誤差を考慮した数値を算出します。
誤差を隠さないための設計として、AI側のエラーによる欠測は分母から除外し、実行回数が1回の単発計測は信頼区間を表示せずに単発と明示する仕組みを導入しています。また、ダッシュボードでは信頼区間の帯と7日移動平均を重ねて表示し、誤差とトレンドを区別できるUIとなっています。
Ms.ガジェット関連指標の定義と提供価格
露出確率のほか、回答内で自社が最初に挙がった割合を示す「首位獲得率」、全ブランドに占める自社の割合である「言及シェア率（SoV）」、「平均言及順位」などの指標も、分子・分母の定義を明確にした上で提供されています。
n-shot統計計測は「LLMOチェキ」の標準機能として提供されています。月額29,800円（税別）から、初期費用0円で利用可能となっています。
Ms.ガジェット最後までお読みいただきありがとうございました！
- 本記事の評価は当サイト独自のものです。
- 特段の表示が無い限り、商品の価格や情報などは記事執筆時点での情報です。
- この情報が誤っていても当サイトでは一切の責任を負いかねますのでご了承ください。
- 当サイトに記載された商品・サービス名は各社の商標です。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。