一般的に信頼区間は95％を使いますが、考え方によっては5％の出現率って結構高いと思いませんか？ということで信頼区間を99.5％まで拡張させた場合のメンテナンスの目安を考えてみたいと思います。
クリック率10％を期待する場合
ChatGPTに聞いてみたところ
信頼区間を99.5％に設定した場合、表示回数が100回の場合のクリック率10％の下限は約2.3％、上限は約17.7％となります。
とのこと。
クリック率50％を期待する場合
これはちょっと極端だけど同じく聞いてみた。表示回数100回時点で検討する場合を想定。
信頼区間を99.5％に設定し、表示回数が100回、期待クリック率が50％の場合のクリック率の下限は約30.6％、上限は約69.4％となる
下限30.6％とのことです。
どんなメンテを想定してるか？
クリック率50％というのは非現実的な話。ここではCV率50％程度を期待できる簡単なマイクロコンバージョンを想定。GA4 のuser_engagement イベントみたいなやつ。
条件：信頼区間を99.5％、表示回数：20、期待クリック率：50％
信頼区間を99.5％に設定し、表示回数が20回、期待クリック率が50％の場合のクリック率の下限は16.5%、上限は83.5%となります。この信頼区間は比較的広く、信頼性がやや低いと言えます。
表示回数をクリックに、クリック率をCV率に置き換えて考える。クリック数：20を達成した段階でCV率が下限の16.5％を達成出来てない場合、今後試行回数を重ねてもCV率50％を見込み無いと判断して除外対象とする。みたいな感じ。クリック数20に対する16.5％は3.3。なるほど、なんとなくイメージしやすい数字です。クリック数10だとCV0はありえる（信頼区間内）だと判定だったので20で試すとそれなりの数字が出ました。
ちなみに、クリック数10でも信頼区間を一般的な95％として計算すると
信頼区間を95％に設定し、表示回数が20回、期待クリック率が50％の場合のクリック率の下限は10.6%、上限は89.4%となります。この信頼区間は比較的広いですが、信頼性が高いと言えます。
95％判定ならクリック10回で判定できるのか。。。キーワードの種類は膨大。クリック；1がロングテールでずらーと続く。正直クリック20回というのはハードルが高い。95％判定。クリック10回で除外判定していく方が現実的か。下限10.6％ってことは10の1ならセーフ。10-0ならアウト。まあそんな感じだな。