テック

A/Bテストに必要なサンプル数算出ツールの使い方

ツール

Optimizely社のA/B Test Sample Size Calculator。

統計的有意差が出るまでに必要なサンプル数を出してくれるツールです。

※有意差をはじめとした統計の基礎を理解するには統計学入門(基礎統計学I)がオススメです。

使い方

A/B Test Sample Size Calculator を開きます。

② 以下の項目を入力します。

  • Baseline Conversion Rate → 現状のCVR(%)
  • Minimum Detectable Effect → 改善幅(%)
  • Statistical Significance → 信頼水準(%)

以下の例だと、必要なサンプル数は13,000となります。

A/B Test Sample Size Calculator

利用例

2種類のバナーのどちらがCTRが高いかA/Bテストするケースを例にとります。

現状CTR1%のバナーAをバナーBにすることで20%改善したいとします。この場合に必要なサンプル数を求めます。信頼水準は95%とします。

引用:[Case Study] Sony A/B Tests Banner Ads

この条件を元に入力した結果、必要なサンプル数は45,000人になりました。

統計的有意差とは

その結果が偶然起きたのかどうかを調べるのが「有意差」となります。こちらのサイトがわかりやすいです。

さらに高度な内容については、クックパッド開発者ブログの「仮設検証とサンプルサイズの基礎」という記事が参考になります。この記事では、A/Bテストにおいて、意味のある差が出たかどうかを統計的検定を用いて判断する方法を説明しています。

※有意差をはじめとした統計の基礎を理解するには統計学入門(基礎統計学I)がオススメです。

ビッグデータ分析
この記事に関連する記事