Sonuçları Okuma

Deney sona erdiğinde, önce önceden kayda geçirdiğiniz tek birincil ölçüte bakın. Kazananı bu tek sayı belirler.

Herhangi bir olumlu sinyal bulmak için ikincil ölçütleri araştırma dürtüsüne direnin. Önemsiz bir kazanımı seçip öne çıkarmak, ekiplerin değişiklik göstermeyen bir deneyi başarılı olduğuna inandırmasının yoludur.

Düzenli bir sonuçlar tablosu, her alternatif için ziyaretçileri, dönüşümleri, dönüşüm oranını, göreli artışı ve güven düzeyini gösterir.

Tabloyu baştan sona tarayın. Herhangi bir artışı kutlamadan önce örneklem büyüklüklerinin dengeli olduğunu ve güven düzeyinin eşiğinizi karşıladığını doğrulayın.

Her deney kazanan, kaybeden veya sonuçsuz olarak biter. Bu üç sonucun da değeri vardır.

Kazanan sonuç size neyi kullanıma sunacağınızı söyler. Kaybeden sonuç size nelerden kaçınacağınızı gösterir. Sonuçsuz sonuç ise etkinin, varsa bile, trafiğinizle saptanamayacak kadar küçük olduğunu gösterir.

Değişiklik göstermeyen bir sonuç, boşa gitmiş bir deney demek değildir. Bir hipotezi geçersiz kılar ve hiçbir işe yaramayan bir şeyi kullanıma sunmanızı önler.

Sonuçsuz deneyleri kanıt olarak değerlendirin. Değişikliğiniz fazla ince, trafiğiniz fazla düşük veya içgörünüz yanlış olabilir. Her biri, bundan sonra nereye bakmanız gerektiğini öğretir.

Kazanan bir sonucu kullanıma sunmadan önce koruyucu ölçütlerin yanlış yönde değişmediğini doğrulayın. Geri dönüşler veya müşteri kaybı arttıysa kayıt olma oranındaki artışın pek anlamı kalmaz.

Gerçek bir kazanım, işin sonraki aşamalarındaki sağlığa zarar vermeden birincil ölçütü iyileştirir.

Genel olarak değişiklik göstermeyen bir sonuç, farklı alt gruplardaki zıt etkileri gizleyebilir. Alternatif mobil cihazlarda kazanırken masaüstünde kaybedebilir ve toplam sonuç sıfıra ulaşabilir.

Sonuçları cihaza, trafik kaynağına veya yeni ve geri dönen kullanıcılara göre ayırın; ancak alt grup bulgularını doğrulanmış kazanımlar olarak değil, yeni hipotezler olarak değerlendirin.

Verileri çok sayıda alt gruba bölmek, bir yerde sahte bir kazanan bulma olasılığınızı artırır. Yeterince alt grubu sınarsanız, içlerinden biri şans eseri anlamlı görünecektir.

Bir alt grup umut verici görünüyorsa, harekete geçmeden önce bunu yeni ve özel bir deneyle doğrulayın. Yalnızca sonradan yapılan bir alt grup incelemesine dayanarak hiçbir şeyi kullanıma sunmayın.

Yüzde artışını iş açısından anlamlı ifadelere dönüştürün. Göreli olarak %17'lik bir artış kulağa harika gelebilir, ancak paydaşlar gelirle ilgilenir.

Yıllık etkiyi öngörmek için yeni dönüşüm oranını trafiğiniz ve ortalama değerinizle çarpın. Kullanıma sunma kararınızı ve yol haritanızı bu sayı yönlendirir.

Hipotezi, sonucu, güven düzeyini, etki büyüklüğünü ve kararı ortak bir kayda geçirin. Geçmiş deneyler, aynı çıkmazları tekrar etmenizi önleyen bir bilgi tabanıdır.

İçgörülerin tüm deney programı boyunca birikmesi için hem kazanımları hem de kayıpları ekiple paylaşın.

Bir deneyde kazanmak, aynı artışın üretim ortamında da gerçekleşeceğini garanti etmez. Tamamını kullanıma sunduktan sonra ölçütü birkaç hafta izleyin.

Yenilik etkileri, mevsimsellik ve uygulama hataları bir sonucu zayıflatabilir. Öngörülen geliri hesaba katmadan önce kazanımın sürdüğünü doğrulayın.

İyileştirme tek seferlik değil, bir döngüdür. Kazanım veya kayıp fark etmeksizin her sonuç, bir sonraki hipotezi doğurmalıdır.

Kazanan bir riski azaltma rozeti, daha güçlü bir güvenceyi sınama fikri verebilir. Kaybeden bir yerleşim sizi başka bir yöne yönlendirir. Sürekli deney yapmak, küçük kazanımları biriktirerek büyük sonuçlara dönüştürür.

Deneyleri önceden kayda geçirilmiş birincil ölçüte göre değerlendirin ve kullanıma sunmadan önce koruyucu ölçütleri kontrol edin. Sonuçsuz sonuçlar da öğrenme sağlar.

Alt grup avcılığı yapmadan dikkatlice alt gruplara ayırın, artışları iş etkisine dönüştürün, her deneyi belgeleyin, kazanımları üretim ortamında doğrulayın ve her sonucu bir sonraki deneye taşıyın.