Tek bir hipotez kurun
“Yeni sayfa daha iyi” yerine “teslim kapsamını formun önünde açıklamak niteliksiz başvuruyu azaltabilir” gibi sınanabilir bir öneri yazın. Başarı ölçütünü ve ters etkiyi birlikte tanımlayın. Daha çok form gelmesi, başvuruların tamamı ilgisizse başarı sayılmamalıdır.
Karşılaştırmayı koruyun
Varyantlara farklı kampanyalardan farklı kullanıcılar gönderirseniz tasarım etkisini ayırmak zorlaşır. Deney kurulumunda kullanıcı ataması, tekrar ziyaretler ve ölçüm olayları kontrol edilmelidir. Süre ve gerekli veri miktarı trafik ile beklenen etkiye bağlıdır; bütün siteler için geçerli sabit bir gün veya ziyaretçi sayısı yoktur.
Sonucu acele yorumlamayın
İlk olumlu dalgalanmada deneyi durdurmak yanlış karar riskini artırır. Önceden belirlenen değerlendirme planını izleyin ve belirsiz sonucu belirsiz olarak raporlayın. Düşük trafikli B2B sitelerde kullanıcı görüşmesi, görev testi ve satış ekibi geri bildirimi deney öncesi daha yararlı ipuçları sağlayabilir. Bunları A/B testi sonucu diye sunmayın.
Başlamadan önce kontrol edin
- Hipotez tek bir değişime bağlı mı?
- Ölçüm doğrulandı mı?
- Belirsiz sonuç için karar planı var mı?