การทดลองและปรับปรุงอย่างรวดเร็ว

นักการตลาดด้านการเติบโตนำวิธีการทางวิทยาศาสตร์มาใช้ โดยสังเกตข้อมูลเพื่อระบุโอกาส ตั้งสมมติฐานว่าการเปลี่ยนแปลงใดจะช่วยปรับปรุงตัวชี้วัด ออกแบบการทดลองแบบควบคุมเพื่อทดสอบสมมติฐาน วัดผลอย่างเป็นกลาง และสรุปผลเพื่อนำไปกำหนดการทดสอบครั้งถัดไป วงจรที่มีระเบียบวินัยนี้แทนที่การตัดสินใจจากความรู้สึกส่วนตัวด้วยการปรับปรุงซ้ำโดยอาศัยหลักฐาน

สมมติฐานทางการตลาดที่มีรูปแบบดีมักมีโครงสร้างดังนี้: “หาก [เราทำการเปลี่ยนแปลงนี้] แล้ว [ตัวชี้วัดนี้] จะ [เพิ่มขึ้น/ลดลง] [X%] เพราะ [เหตุผลที่มีรากฐานจากพฤติกรรมหรือจิตวิทยาของผู้ใช้]” ส่วน “เพราะ” มีความสำคัญอย่างยิ่ง เพราะบังคับให้ทีมอธิบายกลไกเชิงเหตุและผล ทำให้สิ่งที่เรียนรู้ยังคงมีคุณค่าแม้สมมติฐานจะไม่ถูกต้อง

การทดลองที่ใช้งานได้ขั้นต่ำ (MVE) ใช้ทดสอบสมมติฐานด้วยการลงทุนที่น้อยที่สุดเท่าที่เป็นไปได้ ก่อนตัดสินใจดำเนินการเต็มรูปแบบ แทนที่จะสร้างหน้าเป้าหมายใหม่ทั้งหน้า ให้เปลี่ยนเฉพาะพาดหัวเรื่อง แทนที่จะเปิดตัวโมเดลการกำหนดราคาใหม่ ให้แสดงทางเลือกจำลองเพื่อวัดความสนใจ MVE ช่วยรักษาความเร็วในการทดลองให้สูงและลดความสูญเปล่าของความพยายาม

การทดสอบ A/B หรือที่เรียกว่าการทดสอบแบบแบ่งกลุ่ม จะแบ่งผู้ชมของท่านออกเป็นสองกลุ่มแบบสุ่ม กลุ่มควบคุมจะเห็นรูปแบบปัจจุบัน (A) ส่วนกลุ่มรูปแบบทดลองจะเห็นรูปแบบใหม่ (B) โดยเปลี่ยนตัวแปรเพียงหนึ่งรายการในแต่ละครั้ง หลังจากรวบรวมข้อมูลได้เพียงพอแล้ว การวิเคราะห์ทางสถิติจะระบุว่าความแตกต่างที่สังเกตได้นั้นเกิดขึ้นจริงหรือเกิดจากความบังเอิญ

นัยสำคัญทางสถิติ ซึ่งโดยทั่วไปกำหนดไว้ที่ 95% หมายความว่ามีความน่าจะเป็นเพียง 5% ที่ผลลัพธ์ซึ่งสังเกตได้จะเกิดจากความบังเอิญ ก่อนเริ่มการทดสอบ ให้ใช้เครื่องคำนวณขนาดกลุ่มตัวอย่างเพื่อกำหนดว่าต้องมีการเปลี่ยนเป็นผู้ใช้กี่รายในแต่ละรูปแบบทดลองจึงจะตรวจพบผลกระทบที่มีความหมาย การทดสอบโดยมีขนาดกลุ่มตัวอย่างไม่เพียงพอจะนำไปสู่ผลบวกลวงและการตัดสินใจที่ไม่ดี

การทดสอบหลายตัวแปรจะเปลี่ยนองค์ประกอบหลายรายการพร้อมกัน และใช้แบบจำลองทางสถิติเพื่อระบุว่าชุดองค์ประกอบใดให้ผลดีที่สุด การทดสอบประเภทนี้ต้องใช้ปริมาณผู้เข้าชมมากกว่าการทดสอบ A/B อย่างมีนัยสำคัญ ซึ่งมักมากกว่าถึง 10 เท่า เพื่อให้ได้ผลที่มีนัยสำคัญ ควรใช้การทดสอบหลายตัวแปรเมื่อมีหน้าเว็บที่มีผู้เข้าชมจำนวนมาก มีองค์ประกอบหลายรายการที่ส่งผลต่อกันให้ทดสอบ และมีเวลาหลายสัปดาห์สำหรับดำเนินการทดสอบ

VWO (เครื่องมือปรับปรุงเว็บไซต์ด้วยภาพ) และ Optimizely เป็นแพลตฟอร์มการทดลองชั้นนำที่เปิดให้ผู้ที่ไม่ใช่วิศวกรสร้าง เผยแพร่ และวิเคราะห์การทดสอบ A/B และการทดสอบหลายตัวแปรผ่านเครื่องมือแก้ไขแบบภาพได้ Unbounce และ Instapage สร้างขึ้นโดยเฉพาะสำหรับทำหน้าเป้าหมายและมีการทดสอบ A/B ในตัว Google Optimize ยุติการให้บริการในปี 2023 ทำให้หลายทีมเปลี่ยนไปใช้ทางเลือกเหล่านี้

หน้าการกำหนดราคาเป็นหนึ่งในพื้นที่ทดลองที่สร้างผลกระทบได้สูงที่สุดในธุรกิจซอฟต์แวร์แบบบริการ การทดสอบที่พบบ่อย ได้แก่ จำนวนระดับราคา ตำแหน่งและชื่อเรียกของแผนที่แนะนำ ตำแหน่งตัวสลับค่าเริ่มต้นระหว่างรายปีกับรายเดือน รูปแบบตารางเปรียบเทียบคุณสมบัติ และการเพิ่มหรือนำระดับใช้งานฟรีออก การเปลี่ยนแปลงเล็กน้อยในส่วนนี้อาจทำให้อัตราการเปลี่ยนเป็นผู้ใช้เพิ่มหรือลดลงหลายสิบเปอร์เซ็นต์

การทดลองทุกครั้งไม่ว่าจะสำเร็จหรือล้มเหลว ควรบันทึกลงในฐานข้อมูลบทเรียนที่ใช้ร่วมกัน โดยระบุสมมติฐาน คำอธิบายรูปแบบ ตัวชี้วัด ผลลัพธ์ นัยสำคัญทางสถิติ และข้อสรุป เมื่อเวลาผ่านไป ฐานข้อมูลนี้จะกลายเป็นสินทรัพย์ทางปัญญาที่ช่วยป้องกันการทำแนวคิดที่ไม่สำเร็จซ้ำ และเผยให้เห็นรูปแบบว่าอะไรได้ผลกับกลุ่มเป้าหมายเฉพาะของคุณ

วัฒนธรรมแห่งการทดลองต้องอาศัยความปลอดภัยทางจิตใจในการแบ่งปันผลลัพธ์เชิงลบ ผู้นำที่ให้คุณค่ากับการเรียนรู้มากกว่าชัยชนะ ผู้รับผิดชอบหลักของรายการการทดลองค้างดำเนินการที่ชัดเจน และเป้าหมายด้านความเร็ว เช่น การทำการทดลอง 10 ครั้งต่อเดือน ทีมที่ทดสอบบ่อยกว่าจะสะสมการเรียนรู้ได้เร็วขึ้นแบบทวีคูณ และก้าวล้ำหน้าคู่แข่งที่พึ่งพาโครงการขนาดใหญ่เป็นครั้งคราว

บริษัทที่ทำการทดลองได้มากกว่าภายในช่วงเวลาเดียวกันจะเรียนรู้ได้เร็วกว่าบริษัทที่ไม่ทำ Amazon มีชื่อเสียงด้านการทำการทดลองหลายพันครั้งต่อวัน แม้แต่ทีมขนาดเล็กที่มุ่งมั่นทำการทดสอบทุกสัปดาห์ก็สามารถสะสมข้อมูลเชิงลึกได้มากพอภายในหนึ่งไตรมาสเพื่อปรับปรุงประสิทธิภาพเหนือคู่แข่งได้อย่างมีนัยสำคัญ ความเร็วในการดำเนินการทดลองเป็นสิ่งที่เลือกได้ แต่ต้องอาศัยวินัยด้านกระบวนการและการลงทุนในเครื่องมือ

ทดสอบความเข้าใจของคุณเกี่ยวกับพื้นฐานการทดสอบ A/B และบทบาทของนัยสำคัญทางสถิติ

การทดลองอย่างมีวินัยคือเครื่องยนต์ของการเติบโตที่ขับเคลื่อนด้วยข้อมูล จงเขียนสมมติฐานโดยระบุเหตุผลเชิงเหตุและผลด้วยคำว่า "เพราะว่า" ออกแบบการทดลองที่ใช้ได้จริงขั้นต่ำเพื่อประหยัดทรัพยากร ตรวจสอบให้แน่ใจว่ามีนัยสำคัญทางสถิติก่อนสรุปผล บันทึกผลลัพธ์ทุกครั้งในฐานข้อมูลบทเรียน และสร้างวัฒนธรรมองค์กรที่ให้รางวัลกับความเร็วในการทดสอบ ทีมที่เรียนรู้ได้เร็วที่สุดคือทีมที่ชนะ