Hipotez Oluşturma

Bir deney fikri yalnızca bir tahmindir. Bir Hypothesis, bu fikri gerekçesi ve beklenen sonucuyla sınanabilir bir öngörüye dönüştürür.

"Yeni bir başlık deneyelim" bir fikirdir. "Faydaları öne çıkaran bir başlık, ziyaretçiler değeri anlamadığı için kayıtları artıracaktır" ise gerçekten değerlendirebileceğiniz bir Hypothesis'tir.

Güçlü bir Hypothesis üç bölümden oluşur: değişiklik, beklenen etki ve bunu kanıtlayan metrik. Yeniden kullanılabilir bir cümle, herkesin gerçeğe bağlı kalmasını sağlar.

Varyantı oluşturmadan önce her köşeli parantezi özel ve ölçülebilir bir ifadeyle doldurun.

En iyi Hypothesis'ler, değişikliğin ardındaki gerekçeyi içerir. "Çünkü" ifadesi, sizi deneyi gerçek kullanıcı davranışına bağlamaya zorlar.

Şablonu genişletin: "[değişikliğin] [etkiye] yol açacağına, bunun nedeninin [içgörü] olduğuna ve bunun [metrik] ile ölçüleceğine inanıyoruz." Bu yaklaşım, başarısız deneyleri yalnızca hayal kırıklığı değil, bilgi kaynağı hâline getirir.

Anket verilerinin kullanıcıların fiyatlandırmanıza güvenmediğini gösterdiğini düşünün. Bir garanti eklemeye karar veriyorsunuz.

Şablonu izlediğinizde Hypothesis kendiliğinden ortaya çıkar. Değişikliğin, etkinin ve metriğin ne kadar özel olduğuna dikkat edin.

"Etkileşim" veya "daha iyi performans" gibi belirsiz metrikler net biçimde ölçülemez. Değişiklikle doğrudan bağlantılı tek bir birincil metrik seçin.

Değişiklik ödeme sayfasındaysa birincil metrik genellikle sayfa görüntülemeleri veya sitede geçirilen süre değil, ödeme işleminin tamamlanma oranı ya da satın alma oranıdır.

Kazananı belirlemek için bir birincil metriği, istenmeyen zararları yakalamak için de koruyucu metrikleri izleyin.

Bir formu küçültmek kayıtları artırırken sonraki aşamalarda potansiyel müşteri kalitesini ciddi biçimde düşürüyorsa, koruyucu metriğiniz sahte bir başarıyı yakalamış demektir. Her ikisini de yayına almadan önce belirleyin.

Sınanabilir bir Hypothesis bir yönü (yukarı veya aşağı) ve ideal olarak yaklaşık bir büyüklüğü öngörür. "Dönüşüm iyileşecek" zayıftır; "dönüşüm en az %10 artacak" ise nettir.

Beklenen etki büyüklüğü, deneyin ne kadar trafiğe ihtiyaç duyacağını planlamanıza da yardımcı olur.

Her Hypothesis bir kaynağa dayanmalıdır: analiz verileri, ısı haritaları, anketler, destek talepleri veya önceki deneyler.

Bir değişikliğin neden işe yarayacağına ilişkin kanıt gösteremiyorsanız, bu fikir yalnızca bir tahmindir. Kanıta dayalı Hypothesis'ler daha sık başarılı olur ve başarısız olduklarında size daha çok şey öğretir.

İyi bir Hypothesis yanlışlanabilir. Hiçbir olası sonuç fikrinizi değiştirmeyecekse bu bir görüş, Hypothesis değildir.

Değişikliği reddetmenize neden olacak sonucu önceden belirleyin. Bu, sonradan düz veya olumsuz bir sonucu mantığa uydurmanızı önler.

Deney yayına girmeden önce Hypothesis'in tamamını, birincil metriği, koruyucu metrikleri ve beklenen etkiyi yazın. Sonuçların daha sonra yeniden yorumlanamaması için bunları sabitleyin.

Ön kayıt, sonuçları işinize geldiği gibi seçmenizi önler ve deney programınızın güvenilirliğini korur.

Aynı fikrin iki sürümünü karşılaştırın. Zayıf olan sınanamaz; güçlü olan ise özeldir, gerekçelidir ve ölçülebilirdir.

Varyant üzerinde herhangi bir çalışma başlamadan önce ekibinizi her zayıf Hypothesis'i güçlü biçime dönüştürmesi için eğitin.

Hangi seçenek en güçlü Hypothesis'tir?

Şablonu kullanarak fikirleri öngörülere dönüştürün: [değişikliğin] [etkiye] yol açacağına, bunun nedeninin [içgörü] olduğuna ve bunun [metrik] ile ölçüleceğine inanıyoruz.

Tek bir özel birincil metrik ve koruyucu metrikler seçin, yönü ve büyüklüğü öngörün, Hypothesis'i kanıta dayandırın, yanlışlanabilir olmasını sağlayın ve yayına almadan önce belgeleyin.