İstatistiksel Anlamlılık

Dönüşüm oranları şans eseri dalgalanır. Küçük bir örneklemde B varyantı A'yı %2 geçerse, bu fark tamamen gürültüden kaynaklanıyor olabilir.

İstatistiksel anlamlılık, gözlemlenen farkın rastgele şanstan ziyade gerçek olma olasılığını gösterir. Bu olmadan, hiçbir işe yaramayan değişiklikleri yayına alma riski taşırsınız.

Her ölçümde değişkenlik vardır. Adil bir parayı on kez atın; nadiren tam olarak beş kez tura gelir.

Aynı durum dönüşümler için de geçerlidir. Kısa bir deney, varyantlardan birinin şanslı bir seri yakalaması nedeniyle sahte bir kazanan gösterebilir. Anlamlılık, gerçek sinyali bu gürültüden ayırır.

p-değeri, varyantlar arasında gerçekte hiçbir fark olmasaydı elde ettiğiniz sonucu veya bundan daha uç bir sonucu görme olasılığını tahmin eder.

Küçük bir p-değeri, sonucun yalnızca şans eseri ortaya çıkmasının düşük olasılıklı olduğu anlamına gelir. Pazarlamacılar genellikle anlamlılık ilan etmek için p değerinin 0,05'in altında olmasını eşik kabul eder.

Çoğu A/B aracı ham p-değeri yerine güven düzeyi bildirir. %95 güven düzeyi, p değerinin 0,05'in altında olmasına karşılık gelir.

Anlamı şudur: Gerçekte hiçbir şey değişmediyse, bu kadar büyük bir farkı zamanın yalnızca yaklaşık %5'inde görürdünüz. Daha yüksek güven için daha fazla veri gerekir.

Güç, gerçek bir etki varsa deneyinizin bunu tespit etme olasılığıdır. Gücün düşük olması, gerçek kazananların fark edilmeden geçip gitmesi anlamına gelir.

Standart hedef %80 güçtür. Gücü yetersiz deneyler trafiği boşa harcar ve sizi bunları çok erken sonuçlandırmaya teşvik eden belirsiz sonuçlar üretir.

Minimum saptanabilir etki veya MDE, deneyin güvenilir biçimde yakalamasını istediğiniz en küçük iyileşmedir.

%1'lik küçük bir artışı tespit etmek, %10'luk bir artışı yakalamaktan çok daha fazla trafik gerektirir. Yayına almadan önce gerçekçi bir MDE belirleyin; bu değer, ihtiyaç duyduğunuz örneklem büyüklüğünü doğrudan belirler.

Deneyi çalıştırmadan önce başlangıç oranınızı, hedef MDE'nizi, güven düzeyinizi ve gücünüzü bir örneklem büyüklüğü hesaplayıcısına girin. Hesaplayıcı, her varyant için kaç ziyaretçi gerektiğini söyler.

Bu sayıya bağlı kalın. B "kazanıyor gibi görünüyor" diye erken bitirmek, ekiplerin kendini kandırmasının en yaygın yoludur.

Sonuçları tekrar tekrar kontrol edip anlamlılık ortaya çıkar çıkmaz durmak, yanlış pozitif oranınızı büyük ölçüde artırır.

Her erken bakış, rastgele gürültünün eşiği aşması için yeni bir fırsattır. Örneklem büyüklüğünü ve süreyi önceden belirleyin, ardından bekleyin. İlk olumlu sonucu gördüğünüzde durmayın.

Davranışlar hafta içi, hafta sonu ve maaş günlerinde farklılık gösterir. Pazartesiden çarşambaya kadar yürütülen bir deney, hafta sonu alışveriş yapanları tamamen gözden kaçırır.

Her varyantın trafiğin temsil edici bir karışımını görmesi için en az bir veya iki tam hafta çalışın. Geçerli bir sonuç için hem örneklem büyüklüğü hem de süre belirleyicidir.

Bir sonuç istatistiksel olarak anlamlı olabilir, ancak işletme açısından önem taşıyamayacak kadar küçük olabilir. Trafik çok yüksek olduğunda %0,1'lik bir artış bile %95 güven düzeyine ulaşabilir.

Anlamlılığı her zaman etki büyüklüğü ve pratik değeriyle birlikte değerlendirin. Kendinize şu soruyu sorun: Bu artış değişikliği haklı çıkaracak kadar büyük mü?

Güven aralığı, gerçek etkinin olası aralığını gösterir. -%1 ile +%17 arasında bir aralığa sahip +%8'lik nokta tahmini güven vermemektedir.

Aralığın tamamının pozitif kaldığı sonuçları tercih edin. Sıfırı kesen geniş bir aralık, değişikliğin gerçekten yardımcı olduğundan emin olamayacağınız anlamına gelir.

Anlamlılık konusundaki anlayışınızı sınayın.

Anlamlılık, gerçek etkileri rastgele gürültüden ayırır. %95 güven ve %80 güç hedefleyin, bir MDE belirleyin ve deneyi başlatmadan önce örneklem büyüklüğünü hesaplayın.

Sonuçlara erkenden bakmaktan kaçının, tam iş döngülerini yürütün ve sonuçları yalnızca anlamlılığa göre değil, etki büyüklüğüne ve güven aralığına göre değerlendirin.