本サイトにはプロモーションが含まれています
ツール
Optimizely社のA/B Test Sample Size Calculator。
統計的有意差が出るまでに必要なサンプル数を出してくれるツールです。
※有意差をはじめとした統計の基礎を理解するには統計学入門（基礎統計学I）がオススメです。
使い方
① A/B Test Sample Size Calculator を開きます。
② 以下の項目を入力します。
- Baseline Conversion Rate → 現状のCVR（％）
- Minimum Detectable Effect → 改善幅（％）
- Statistical Significance → 信頼水準（％）
以下の例だと、必要なサンプル数は13,000となります。
利用例
２種類のバナーのどちらがCTRが高いかA/Bテストするケースを例にとります。
現状CTR１％のバナーAをバナーBにすることで20%改善したいとします。この場合に必要なサンプル数を求めます。信頼水準は９５％とします。
この条件を元に入力した結果、必要なサンプル数は45,000人になりました。
統計的有意差とは
その結果が偶然起きたのかどうかを調べるのが「有意差」となります。こちらのサイトがわかりやすいです。
さらに高度な内容については、クックパッド開発者ブログの「仮設検証とサンプルサイズの基礎」という記事が参考になります。この記事では、A/Bテストにおいて、意味のある差が出たかどうかを統計的検定を用いて判断する方法を説明しています。
※有意差をはじめとした統計の基礎を理解するには統計学入門（基礎統計学I）がオススメです。
本サイトにはプロモーションが含まれています
