ウェブサイト分析におけるデータの統計的有意性検定

ウェブサイト分析では、ウェブサイト最適化テストを実行して、直帰率、注文購入率、ボタンクリック率など、さまざまなソリューションのコンバージョン率を比較することがよくあります。また、訪問者や顧客の詳細なデータパフォーマンスも記録されます。しかし、多くの場合、その差は非常に小さいため、現状を維持するか、新しい計画を完全に採用するかについて結論を出すのは困難です。したがって、両者の差が統計的に有意であるかどうかを判断することが重要になります。

この記事では主に、Excel で事前に記述された関数を使用してデータ有意性計算機を使用する方法と、SPSS を使用して詳細な顧客データに対して有意性テストを実行する方法という、2 つのデータテスト方法について説明します。

1. Excelデータ重要度計算ツール

次のデータを想定する:

ソーシャルメディアソースの訪問、注文、注文購入率

YouTube250008903.56%

フェイスブック48002405%

次に、Avinash Kaushik が紹介した Excel データ有意性計算機を使用してテストします。詳細については、http://www.kaushik.net/avinash/excellent-analytics-tip1-statistical-significance/ を参照してください。

Excel ファイルはここからダウンロードできます: http://vdisk.weibo.com/s/cz9E6

データを入力して計算すると（テスト参加者数が分母、コンバージョン数が分子）、ボックスに「はい」と表示されるため、違いは顕著です。

上記の方法の原理は、2 つのデータセット間の差がデータ信頼区間を超えると、データに有意な差が現れるというものです。

上記の方法は、2 つの比率を単純に比較するのに適しています。次に、より高度な内容、つまり 2 つのサンプルの平均を比較する SPSS の仮説検定の問題について説明しましょう。

2. 2つの独立したサンプルのT検定

SPSS で平均を比較する方法には次のものがあります。

仮説検定法のサンプル変数関係の例

平均（単一因子および二重因子）単一サンプル変数ウェブサイトアナリスト月額（給与、経験、勤務地）関係

1サンプルT検定 1サンプル変数自体 iPhone 本体の長さ

2つのサンプル変数、男性と女性の身長間の異なるプロモーションプログラムの効果に関する2つの独立したサンプルT検定

対応のあるサンプルのT検定同じ母集団の異なる月の訪問者の購入行動 2サンプル変数

2 つの独立したサンプルの T 検定を紹介する前に、まずは最も単純なものから最も複雑なものまで、平均の比較について説明しましょう。

1. 平均値の検定

仮説検定の手順は、一般的に次の手順に分けられます。

1) 帰無仮説と対立仮説を決定する（帰無仮説とは、母集団の割合、平均、分布について何らかの仮定を立てることを意味する）

2) 検定統計量を選択する

3) 検定統計量の観測値の確率、P値を計算する

4) 有意水準 α が与えられた場合、P<α、つまり低確率イベントが発生する、つまり帰無仮説が発生する確率が非常に小さい場合は、帰無仮説は覆されます。P>α の場合は、帰無仮説が確立されます。

次の 2 つの状況を想定します。

1) 工場の品質管理者は、「製品の不良率はわずか 1/1000 です」と言います。そこで抜き取り検査を開始します。5 個中 2 個に不良品があることが判明し、問題が深刻であることがわかります。

1,000 個中、欠陥の最大数は 1 個ですが、現在は 2 個あるため、何かが起こる確率は極めて小さくなります。

欠陥の最大数に関する帰無仮説検定の結論

11/10002/5否定的

2) 工場の品質管理者は、「製品の不良率はわずか 1/100 です。抜き取り検査を開始したところ、5 個中 2 個に問題があることがわかりました。これは、問題がかなり深刻であることを意味します。」と言います。

1000 個のピースのうち、欠陥の最大数は 10 個です。現在、ピースは 2 個あり、検査するピースは 995 個あります。この場合、2 つの可能性があります。

*製品の不良率が1％を大幅に上回っており、品質管理者が誤解を招いています。

※万が一不良品を引いた場合、次の995個も不良品が出ることは稀です。

確率計算:

帰無仮説：つまり、製品の不良率が 1/100 であると仮定すると、5 つのサンプルのうち 2 つの不良品が見つかる確率は 0.088% です。

欠陥の最大数に関する帰無仮説検定の結論

101/1002/5 未定

5 個中 2 個をサンプリングした場合、その後の製品不良率が 1/100 未満になる確率は 0.088% です。5 個中 2 個をサンプリングした場合、その後の製品不良率が 1/100 を超える確率は 99.912% であり、つまり、元の仮説が発生する確率は <α です。α が 5% の場合、0.088%<5%、つまり、テストで低確率のイベントが発生し、当初は起こりそうにないことが起こると、元の仮説は覆されます。

注: データケースはLi Hongcheng先生のSPSSデータから取得されています。

2. 2つの独立したサンプルのT検定

2 つの独立したサンプルの T 検定は、2 つのサンプルの元となる母集団が互いに独立していることを意味し、その目的は、2 つの独立したサンプルの平均間に有意な統計的差異があるかどうかを分析することです。次のケースの背景は、さまざまな最適化ソリューションが訪問者の注文の価値にどのように影響するかです。

1. 前提条件:

2 つの独立したサンプルの T 検定を実行するには、次の条件を満たす必要があります。

1) 全体的な独立性

2) 人口は正規分布に従う

3) サンプルの分散は同じである

元データは以下のとおりです。

1. データ設定

1) 分析-記述統計-探索を選択

2) 訪問者の売上 (sales) を従属変数リストに入力し、さまざまなスキーム (テストタイプ) を因子リストに入力します。

3) 「描画」をクリックし、ヒストグラムとテスト付き正規プロットをチェックします。

2. データレポート

下の図に示すように、2 つのソリューションごとに 200 個のサンプルがあります。