การอ่านผลลัพธ์

เมื่อการทดสอบสิ้นสุดลง ให้ดูตัวชี้วัดหลักเพียงตัวเดียวที่คุณลงทะเบียนไว้ล่วงหน้าเป็นอันดับแรก ตัวเลขนี้เป็นตัวตัดสินผู้ชนะ

อย่าปล่อยให้ความอยากค้นหาสัญญาณบวกจากตัวชี้วัดรองทำให้คุณไขว้เขว การเลือกเฉพาะผลดีเล็ก ๆ ที่เกิดขึ้นโดยบังเอิญคือสาเหตุที่ทีมต่าง ๆ หลอกตัวเองว่าการทดสอบที่ไม่มีความเปลี่ยนแปลงนั้นประสบความสำเร็จ

ตารางผลลัพธ์ที่เป็นระเบียบจะแสดงจำนวนผู้เข้าชม จำนวนการทำรายการสำเร็จ อัตราการทำรายการสำเร็จ การเพิ่มขึ้นสัมพัทธ์ และระดับความเชื่อมั่นของแต่ละรูปแบบทดลอง

ไล่ดูตารางจากบนลงล่าง ตรวจสอบว่าขนาดกลุ่มตัวอย่างสมดุลและระดับความเชื่อมั่นถึงเกณฑ์ของคุณแล้ว ก่อนจะฉลองกับการเพิ่มขึ้นใด ๆ

การทดสอบทุกครั้งจบลงด้วยผลลัพธ์ที่ชนะ ผลลัพธ์ที่แพ้ หรือผลลัพธ์ที่ยังสรุปไม่ได้ ทั้งสามแบบล้วนมีคุณค่า

ผลลัพธ์ที่ชนะบอกคุณว่าควรนำอะไรไปใช้งาน ผลลัพธ์ที่แพ้บอกคุณว่าควรหลีกเลี่ยงอะไร ส่วนผลลัพธ์ที่ยังสรุปไม่ได้บอกว่าผลกระทบ (ถ้ามี) เล็กเกินกว่าจะตรวจพบด้วยปริมาณผู้เข้าชมของคุณ

ผลลัพธ์ที่ไม่มีความเปลี่ยนแปลงไม่ใช่การทดสอบที่สูญเปล่า เพราะช่วยตัดสมมติฐานหนึ่งออกและป้องกันไม่ให้คุณนำสิ่งที่ไม่ก่อให้เกิดผลไปใช้งาน

มองการทดสอบที่ยังสรุปไม่ได้เป็นหลักฐาน การเปลี่ยนแปลงของคุณอาจละเอียดอ่อนเกินไป ปริมาณผู้เข้าชมอาจน้อยเกินไป หรือข้อค้นพบของคุณอาจไม่ถูกต้อง แต่ละกรณีจะสอนให้คุณรู้ว่าควรมองหาคำตอบต่อไปที่ใด

ก่อนนำผลลัพธ์ที่ชนะไปใช้งาน ให้ยืนยันว่าตัวชี้วัดเฝ้าระวังไม่ได้เปลี่ยนไปในทิศทางที่ผิด การสมัครสมาชิกที่เพิ่มขึ้นย่อมมีความหมายน้อย หากการคืนเงินหรือการเลิกใช้บริการเพิ่มขึ้นอย่างรวดเร็ว

ชัยชนะที่แท้จริงต้องทำให้ตัวชี้วัดหลักดีขึ้นโดยไม่ทำลายสุขภาพของธุรกิจในขั้นถัดไป

ผลลัพธ์โดยรวมที่ไม่มีความเปลี่ยนแปลงอาจซ่อนผลกระทบที่ตรงข้ามกันในกลุ่มย่อยต่าง ๆ รูปแบบทดลองอาจชนะบนอุปกรณ์เคลื่อนที่แต่แพ้บนคอมพิวเตอร์ตั้งโต๊ะ เมื่อหักลบกันแล้วจึงเป็นศูนย์

แยกผลลัพธ์ตามอุปกรณ์ แหล่งที่มาของผู้เข้าชม หรือผู้ใช้ใหม่เทียบกับผู้ใช้ที่กลับมา แต่ให้มองข้อค้นพบจากกลุ่มย่อยเป็นสมมติฐานใหม่ ไม่ใช่ชัยชนะที่ยืนยันแล้ว

การแบ่งข้อมูลเป็นกลุ่มย่อยจำนวนมากเพิ่มโอกาสที่คุณจะพบผู้ชนะปลอมในบางกลุ่ม ทดสอบกลุ่มย่อยมากพอ แล้วจะมีกลุ่มหนึ่งดูเหมือนมีนัยสำคัญเพราะโชคช่วย

หากกลุ่มย่อยใดดูมีอนาคต ให้ตรวจสอบด้วยการทดสอบใหม่ที่ออกแบบมาเฉพาะก่อนดำเนินการ อย่านำผลไปใช้งานโดยอาศัยเพียงการแบ่งข้อมูลย้อนหลัง

แปลงการเพิ่มขึ้นเป็นเปอร์เซ็นต์ให้เป็นภาษาธุรกิจ การเพิ่มขึ้นสัมพัทธ์ 17% ฟังดูดีมาก แต่ผู้มีส่วนได้ส่วนเสียสนใจรายได้

นำอัตราการทำรายการสำเร็จใหม่มาคูณกับจำนวนผู้เข้าชมและมูลค่าเฉลี่ย เพื่อประมาณผลกระทบตลอดทั้งปี ตัวเลขนี้เป็นปัจจัยสำคัญในการตัดสินใจนำไปใช้งานและกำหนดแผนงานของคุณ

บันทึกสมมติฐาน ผลลัพธ์ ระดับความเชื่อมั่น ขนาดผลกระทบ และการตัดสินใจไว้ในบันทึกกลาง การทดสอบในอดีตคือฐานความรู้ที่ช่วยป้องกันการเดินซ้ำบนทางตัน

แบ่งปันทั้งชัยชนะและความพ่ายแพ้กับทีม เพื่อให้ข้อค้นพบต่อยอดสะสมไปทั่วทั้งโครงการทดลอง

การชนะในการทดสอบไม่ได้รับประกันว่าจะได้การเพิ่มขึ้นเท่าเดิมในระบบจริง หลังเปิดใช้กับผู้ใช้ทั้งหมดแล้ว ให้ติดตามตัวชี้วัดเป็นเวลาสองสามสัปดาห์

ผลจากความแปลกใหม่ ฤดูกาล และข้อผิดพลาดจากการนำไปใช้อาจลดทอนผลลัพธ์ได้ ยืนยันว่าชัยชนะยังคงอยู่ก่อนจะถือว่ารายได้ที่คาดการณ์นั้นเกิดขึ้นจริง

การเพิ่มประสิทธิภาพเป็นวงจร ไม่ใช่สิ่งที่ทำเพียงครั้งเดียว ผลลัพธ์ทุกแบบ ไม่ว่าจะชนะหรือแพ้ ควรนำไปสู่สมมติฐานถัดไป

ป้ายแสดงการลดความเสี่ยงที่ชนะอาจเป็นแรงบันดาลใจให้ทดสอบการรับประกันที่ชัดเจนขึ้น ส่วนรูปแบบการจัดวางที่แพ้อาจชี้ให้คุณหันไปสำรวจแนวทางอื่น การทดลองอย่างต่อเนื่องจะสะสมการปรับปรุงเล็ก ๆ ให้กลายเป็นผลลัพธ์ขนาดใหญ่

นำสิ่งที่คุณเรียนรู้เกี่ยวกับการอ่านผลลัพธ์ไปใช้

ประเมินการทดสอบจากตัวชี้วัดหลักที่ลงทะเบียนไว้ล่วงหน้า และตรวจสอบตัวชี้วัดเฝ้าระวังก่อนนำไปใช้งาน ผลลัพธ์ที่ยังสรุปไม่ได้ก็ยังคงเป็นบทเรียน

แบ่งกลุ่มอย่างรอบคอบโดยไม่ค้นหาผลลัพธ์แบบเจาะจง แปลงการเพิ่มขึ้นให้เป็นผลกระทบทางธุรกิจ บันทึกการทดสอบทุกครั้ง ตรวจสอบชัยชนะในระบบจริง และนำผลลัพธ์แต่ละแบบไปสู่การทดลองครั้งถัดไป