変更前後の効果を比べる
ページや導線を変更したら、変更前と後の数字を比べて、改善に効果があったかを確かめます。
比べる数字と期間を変更前に決めておきます。条件をそろえ、割合で比べると、変更の効果を正しく判断できます。
変更したら結果を数字で確かめる
ページを直した後、なんとなく良くなった気がする、という感覚だけで終わらせると、その変更が本当に役立ったのかが分かりません。効果がなかった変更を続けたり、効果があった方法を他のページに広げる機会を逃したりします。
変更前と変更後の数字を比べて、狙った数字が動いたかを確かめます。
変更の前後で同じ数字を同じ条件で比べ、効果を確かめます。
比べる数字を変更前に決める
変更した後で数字を探すと、たまたま良くなった数字を選んでしまい、効果を過大に評価しがちです。比べる数字は、変更する前に決めておきます。
仮説を立てたときに期待した結果が、そのまま比べる数字になります。たとえば、料金ページに案内を追加したなら、料金ページから問い合わせページへ進んだ人の数と割合を比べます。最終的な成果の件数もあわせて確認します。
変更した日を記録しておく
比べるためには、いつ変更したかが正確に分かっている必要があります。変更した日と内容を、表計算ソフトなどに記録しておきます。
日付があいまいだと、変更前と後の区切りがずれて、正しく比べられません。複数の人がサイトを更新する場合は、記録する場所を共有し、誰が変更しても書き残すようにします。
同じ長さと条件の期間で比べる
比べる期間は、変更前と後で同じ長さにします。曜日によって訪問が変わるサイトも多いため、1週間単位でそろえると差が出にくくなります。
訪問が少ないサイトでは、短い期間では差が偶然か判断できません。数字が安定するまで期間を延ばします。変更した当日は前後が混ざるため、比較から外しておきます。
件数ではなく割合で比べる
変更後に訪問数そのものが増減すると、成果の件数もそれにつられて動きます。件数だけを比べると、変更の効果なのか訪問数の変化なのかが区別できません。
そのため、ページを見た人のうち何割が次へ進んだか、訪問に対して何割が成果に至ったか、という割合で比べます。たとえば、次へ進んだ人が20人から24人に増えても、ページの表示回数も同じ割合で増えていれば、変更の効果とはいえません。件数は、割合の判断を補う情報として並べて見ます。
変更以外の要因を確認する
数字は、サイトの変更以外の理由でも動きます。比べる期間に次のような出来事がなかったかを確認します。
- 繁忙期や長期休暇などの季節による変化
- 広告の出稿やキャンペーンの開始・終了
- SNSでの紹介や取材記事の掲載
- ほかのページの同時期の変更
大きな出来事が重なっている場合は、結果を割り引いて判断するか、期間をずらして比べます。
一度に変えるのは1か所にする
複数の箇所を同時に変えると、数字が良くなっても、どの変更が効いたのかが分かりません。効果を確かめたい変更は、1か所ずつ行います。
時間がかかるように感じますが、効いた方法がはっきりすれば、ほかのページにも自信を持って広げられます。
同じ期間に2つの案を比べる方法もある
前後の比較は、季節や出来事の影響を完全には取り除けません。これを避ける方法として、訪問者を2つに振り分け、同じ期間に元のページと変更したページを見せて比べるABテストがあります。
ABテストには専用のツールや設定が必要で、訪問が少ないと結論が出るまでに長い時間がかかります。訪問数が多くない小規模なサイトでは、条件をそろえた前後の比較で判断するのが現実的です。
結果に応じて次の対応を決める
狙った数字が良くなれば、その変更を続け、似た状況のページにも当てはめます。変化がなければ、仮説の原因が違っていた可能性があります。別の候補で次の仮説を立てます。
数字が悪くなった場合は、変更を元に戻すことも検討します。どの結果になっても、変更内容と数字を記録に残しておきます。
まとめ
変更の効果は、変更前に決めた数字を、同じ長さと条件の期間で、割合を中心に比べて確かめます。変更以外の要因にも注意し、結果に応じて続けるか、次の仮説に進むかを決めます。