الدلالة الإحصائية

تتذبذب معدلات التحويل بفعل الصدفة. فإذا تفوقت النسخة B على A بنسبة 2% ضمن عينة صغيرة، فقد يكون هذا الفرق مجرد ضوضاء.

توضح لكم الدلالة الإحصائية مدى احتمال أن يكون الفرق الملحوظ حقيقيًا لا نتيجة حظ عشوائي. ومن دونها، تخاطرون بإطلاق تغييرات لا تحقق شيئًا.

يتضمن كل قياس قدرًا من التباين. فإذا قلبتم عملة عادلة عشر مرات، فنادرًا ما ستحصلون على خمس صور بالضبط.

وينطبق الأمر نفسه على التحويلات. فقد يعرض اختبار قصير فائزًا زائفًا لمجرد أن إحدى النسختين حظيت بسلسلة موفقة. وتفصل الدلالة الإحصائية الإشارة الحقيقية عن هذه الضوضاء.

تقدّر قيمة p احتمال رؤية نتيجتكم، أو نتيجة أكثر تطرفًا منها، إذا لم يكن هناك في الواقع أي فرق بين النسخ.

تعني قيمة p الصغيرة أن حدوث النتيجة بالصدفة وحدها غير مرجح. ويعتبر المسوقون عادةً أن قيمة p الأقل من 0.05 هي الحد الأدنى لإعلان الدلالة الإحصائية.

تعرض معظم أدوات اختبار A/B مستوى ثقة بدلًا من قيمة p الخام. ويتوافق مستوى ثقة يبلغ 95% مع قيمة p أقل من 0.05.

ومعنى ذلك: إذا لم يتغير شيء فعليًا، فلن تروا فرقًا بهذا الحجم إلا في نحو 5% من الحالات. ويتطلب مستوى الثقة الأعلى بيانات أكثر.

القدرة الإحصائية هي احتمال أن يكتشف اختباركم أثرًا حقيقيًا عند وجوده. وتعني القدرة المنخفضة أن النتائج الفائزة الحقيقية قد تمر من دون ملاحظة.

والهدف القياسي هو قدرة إحصائية تبلغ 80%. فالاختبارات منخفضة القدرة تهدر الزيارات وتنتج نتائج غير حاسمة تغريكم بإيقافها مبكرًا.

الحد الأدنى للأثر القابل للاكتشاف، أو MDE، هو أصغر تحسن تريدون أن يلتقطه الاختبار بشكل موثوق.

يتطلب اكتشاف زيادة صغيرة بنسبة 1% زيارات أكثر بكثير من اكتشاف زيادة بنسبة 10%. حدّدوا MDE واقعيًا قبل الإطلاق؛ فهو يحدد مباشرةً حجم العينة المطلوب.

قبل إجراء الاختبار، أدخلوا معدل الأساس وMDE المستهدف ومستوى الثقة والقدرة الإحصائية في حاسبة حجم العينة. وستوضح لكم عدد الزوار الذين تحتاج إليهم كل نسخة.

التزموا بهذا العدد. فإن إنهاء الاختبار مبكرًا لأن النسخة B «تبدو وكأنها تفوز» هو أكثر الطرق شيوعًا التي تخدع بها الفرق نفسها.

يؤدي التحقق من النتائج مرارًا وإيقاف الاختبار لحظة ظهور الدلالة إلى زيادة معدل النتائج الإيجابية الكاذبة بشكل كبير.

كل عملية تحقق إضافية تمنح الضوضاء العشوائية فرصة أخرى لتجاوز الحد. حدّدوا حجم العينة والمدة مسبقًا، ثم انتظروا. لا توقفوا الاختبار عند أول نتيجة إيجابية.

يختلف السلوك بين أيام الأسبوع وعطلة نهاية الأسبوع ويوم صرف الراتب. فالاختبار الذي يجري من الاثنين إلى الأربعاء يفوّت متسوقي عطلة نهاية الأسبوع بالكامل.

أجروا الاختبار لمدة أسبوع أو أسبوعين كاملين على الأقل حتى تشهد كل نسخة مزيجًا ممثلًا من الزيارات. فحجم العينة والوقت كلاهما شرطان أساسيان لصحة النتيجة.

قد تكون النتيجة ذات دلالة إحصائية، لكنها صغيرة جدًا بحيث لا تهم العمل. فعند وجود زيارات ضخمة، يمكن حتى لزيادة قدرها 0.1% أن تحقق مستوى ثقة يبلغ 95%.

اربطوا الدلالة دائمًا بحجم الأثر وقيمته العملية. واسألوا: هل هذه الزيادة كبيرة بما يكفي لتبرير التغيير؟

يُظهر فاصل الثقة النطاق المعقول للتأثير الحقيقي. ويُعدّ التقدير النقطي البالغ +8% مع فاصل يمتد من -1% إلى +17% نتيجة غير مستقرة.

فضّل النتائج التي يظل فيها الفاصل بأكمله موجبًا. فالفاصل الواسع الذي يتجاوز الصفر يعني أنه لا يمكنكم التأكد من أن التغيير مفيد على الإطلاق.

تميّز الدلالة الإحصائية التأثيرات الحقيقية عن الضوضاء العشوائية. استهدفوا مستوى ثقة قدره 95% وقوة إحصائية قدرها 80%، وحددوا MDE، واحسبوا حجم العينة قبل الإطلاق.

تجنبوا الاطلاع المبكر على النتائج، وأجروا الاختبار خلال دورات عمل كاملة، وقيّموا النتائج بحجم التأثير وفاصل الثقة، لا بالدلالة الإحصائية وحدها.