Google ウェブサイト オプティマイザー レポートの解釈

以前、Google Website Optimizer を使用して、ブログのいくつかのテスト ページで A/B テストを実行しようとしました。この期間を経て、いくつかのテスト データを収集しました。ご協力ありがとうございました。実は、私はずっと Google のウェブサイト比較実験最適化ツールを紹介したいと思っていました。完全に無料で使いやすいツールです。近い将来、独立した Google ウェブサイト オプティマイザーはなくなり、この機能は Google アナリティクスに統合されます。多くの GA ユーザーが、コンテンツ モジュールに新しく追加された実験機能を発見したと思います。この機能は Google ウェブサイト オプティマイザーから派生したもので、機能と使用方法にいくつかの調整と変更があるはずです。

Google ウェブサイト オプティマイザーの使用は、実際にはそれほど複雑ではありません。実験作成ウィザードと Web ページのプロンプトやヘルプを組み合わせて使用​​することで、一般のユーザーは問題なく独自の実験を作成できます。ただし、Web サイト間の大きな違いにより、注意を払う必要のある詳細が多数ある場合があり、実験プロセスと監視結果をより効果的にするための方法を見つける必要がある場合があります。したがって、ここでは GWO ツール自体の使用については紹介しません。私がもっと興味を持っているのは、実際には実験によって出力される結果レポートです。これには、結果の区間推定、テスト ソリューションの勝利の確率、改善範囲などが含まれます。これらの指標は、統計的手法を使用して計算されます。2 つの観測グループを直接比較する場合と比較して、比較結果はより科学的で説得力があります。

まず、GWO が出力したレポートを見てみましょう。ここでは A/B テストが使用されています。多変量テスト (MVT) を使用する場合、レポートは少し異なりますが、指標と統計ロジックは同じです。

GWO を使用して、オリジナル バージョンとテスト バージョンを使用した最もシンプルな A/B テストを実装しました。出力レポートでは、主に実験中に設定されたコンバージョン レートを比較しました。上の折れ線グラフは、オリジナル版と実験版のコンバージョン率の推移を示しています。これまでのコンバージョン状況は、下の表の一番右（Conv./Visitors）に表示されています。指標名から判断すると、GWO はコンバージョン率をコンバージョンしたユーザーの数で計測しており、ユーザーを一意に識別するために Cookie を使用しているはずです（ここではブログ上に簡単なテストページをいくつか作成しているだけなので、データ量が少なく、通常の Web サイトよりもコンバージョン率が大幅に高くなっています）。

したがって、下の図の表の赤いボックス内の 3 つの指標に注目して、それらがどのように計算されるかを確認します。

推定コンバージョン率

図1には、GWOの変換率を推定します。たとえば、元のバージョンの標準偏差は約0.0647ですこの信頼区間は約84％です。

赤いボックス 1 の上には、GWO がテスト結果に基づいてテスト バージョンを 3 つのカテゴリに分類していることがわかります。緑は成功したテスト バージョン、黄色は不確実なテスト バージョン、赤は失敗したテスト バージョンを表しています。 Google は簡単な説明のみを提供し、緑色で表示されたバージョンは元のバージョンよりも優れている可能性が高い (可能性に過ぎない) ため、そのバージョンを使用することを選択できると示唆し、赤色で表示されたバージョンはテストを停止できることを示唆しています。インジケーターがどのレベルに達すると緑または赤が表示されるかは確認していません。経験のある学生や興味のある学生は試してみることができます。

オリジナル版に勝つ確率

以前、T検定とカイ二乗検定の記事で、カイ二乗検定は二項分布データ間の確率に有意差があるかどうかを比較するために使用できることを紹介しました。ただし、カイ二乗検定は差の有意性を検定することしかできず、あるサンプル群の確率が別のサンプルの確率をどれだけ上回っているかを直接説明することはできません。そのため、GWOレポートではカイ二乗検定は使用されず、片側Z検定が使用されました。サンプル サイズが 30 を超える場合、通常、2 つの独立したサンプルまたはペアのサンプル間の平均差を比較するには、T テストではなく Z テストを使用します。これは、1 つのサンプル グループの確率が別のサンプル グループの確率よりも大幅に高いことを証明したいだけなので、片側検定が使用されるためです。 Z 統計を計算する式は次のとおりです。

表のデータによると、オリジナルソリューションとテストソリューションの平均変換率pはそれぞれ78.9％と78.0％です。式S2 = p（1-p）によると、2つのサンプルグループの分散はそれぞれ0.1665と0.1716であり、2つのグループのサンプル数nはそれぞれ57と41であるため、Z = 0.1068が計算されます。Z値表を見ると、Z = 0.10の確率は46.02％、Z = 0.11の確率は45.62％です。表に示されているChance to Beat Orig. = 45.9％は、2つの間にあります。これは、同様の統計手法で得られた値のはずです。偏差は、中間精度処理によって発生します。

観察された改善

図の赤いボックス 3 で観測された改善は、赤いボックス 1 のコンバージョン率信頼区間と組み合わせる必要があります。棒グラフと組み合わせると、結果がより明確になります。推定コンバージョン率を示すために Excel で作成した同様の棒グラフを見てみましょう。

ここでは、2 つの補助点線を使用しました。最初の点線が元のバージョンである場合、テスト バージョンと元のバージョンのコンバージョン率推定範囲の間のすべての違いが色で表示され、観察された改善はそれらの間のコンバージョン率の差です。たとえば、図の 2 番目のバーの赤い間隔で示される対応する値は -4.2% ですが、3 番目の値は -1.6%+0.6%=-1.0%、つまり左側の負の間隔と右側の正の間隔の合計となり、4 番目の値は 2.9% になります。このようにして、GWO レポート内のすべての指標の計算を明確にすることができます。

実際、ツールを使用して分析やテストのプロセスを完了する場合、すべての指標の基本的な計算ロジックを必ずしも理解する必要はありません。これらの指標の意味と機能を理解し、特定の問題を分析するときに適切に使用するだけで十分です。時には基本的なデータしか得られないこともあります。そのため、これらの基本データを使用して価値があり説得力のある分析結論を得るには、適切な統計手法が必要です。これが、この記事で GWO 出力レポートを解釈する理由です。

» この記事は BY-NC-SA 契約を採用しています。転載の際は出典を明記してください: ウェブサイト データ分析 » 「Google Website Optimizer レポートの解釈」

元のタイトル: Google ウェブサイト オプティマイザー レポートの解釈

キーワード: Google、ウェブサイト、オプティマイザー、レポート、解釈、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化