はじめまして、プレイド サポートチームの松田（元KARTE Friends）です。
KARTE導入初期のお客様からよくいただく質問について、先輩KARTE Friendsのみなさまに質問です！
「ABテストでなかなかWin/Loseの判定がつかない時、みなさんはどのような期間や軸で施策の効果を判断していますか？」
ちなみに私もKARTE Friendsだった頃、テストしたクリエイティブのABの振り切り方が足りなかったり、セグメントを絞り込みすぎて配信対象者が少なかったりと有意差がつかないことがよくあり、悩んでいた記憶があります
有意差が明確に出るケースのほうが稀ですのて、長くても２週間程度様子を見てゴール率が良ければ振り切る、悪ければ止めるという具合に判断しています。振り切った結果が悪くなれば止めれば良い、というくらいの感覚で良いと思います！
株式会社ココナラでCRMを担当している中村と申します。
CRM施策は、機能改修のスピード、季節性、メディア掲載、アド施策など
外部の影響を受けることが多いので、
時期を区切ってある期間は施策A、ある期間は施策Bということをしても
施策の正確な効果検証はできません。
なので、datahubを使ってユーザーセグメントをユーザーID偶数/奇数などに分けて
偶数には施策実施、奇数には施策をしないというように
同時期にA/Bを実施しています。
まずは、やる/やらないで効果検証。
効果についてはポジティブ指標とネガティブ指標をみるようにしています。
プッシュ通知は頻度増やせば当然ポジティブ指標は高まりますが、
プッシュ受信拒否や退会などネガティブ指標もたかまるので、それを加味して効果があったかを確認。
期間については、A/Bでの母数とコンバージョンの差で統計的に優位かどうかを判定するツールが
web上にいくつかあるので、それで優位と証明されればWinと判断しています。
@kenken さん、お忙しい中、とても丁寧でわかりやすい投稿をいただきありがとうございます！
Datahubを使ってABテストされているとのこと。
さすが＠kenkenさんです・・・。参考になります。
（Datahubって何？という方は、文末をご覧くださいませ
）
そして、ネガティブ指標。
より良い顧客体験を提供するために「ネガティブ指標（簡単な例でいうと、接客バナーの閉じるをクリックされた率を見るなど。）」をチェックしながら効果検証するのはとても重要ですよね。
KARTE導入初期からその辺りの数字も意識しながら運用する癖をつけるというのは、とても大切なので、ぜひKARTE初心者のみなさまにもおすすめしたいです
投稿ありがとうございました！
〜Datahubってなんぞや？という方へ〜
Datahubとは
https://karte.io/product/datahub/
ユースケース例
https://support.karte.io/post/jwrC5xMpejsbnh9MjgQNt
よくわからないから説明に来てよ！という方は、ご一報くださいませ。
担当にお繋ぎいたします
もしくはこちらの掲示板で、実際にDatahubをゴリゴリ使われているKARTE Friendsの皆様に具体的なユースケースのご相談を投稿いただくというのも・・・
是非是非、気軽に質問を投稿してみてくださいね。
@Hisayoshi_Chiba さん、お忙しい中、投稿いただきありがとうございます。
初心者ならではの悩めるポイントに、ホッと気が楽になる、なんとも優しいコメントをありがとうございます
＞振り切った結果が悪くなれば止めれば良い。
公開中を停止中にポチッとすればすぐに止められるのは、KARTEならではのメリットですよね。
（普通であれば、バナー1つ上げるのも下げるのも、サイト運用チームやらあちらこちらのリソースを動かさないとできないですよね・・・）
つい先日より、接客サービス詳細画面に分析タブβ版（新機能）が追加されているので、
こちらも今後の効果測定にお役立ていただきますと幸いです！
ベテランKARTE Friendsの@Hisayoshi_Chibaさまなら、「何これー！」と楽しく触っていただけること間違いなしかと思います
分析機能（β版）
https://support.karte.io/post/17Fj6yNl4UWguEQJfbVTxm
投稿ありがとうございました。