แยกเมตริกตามเซกเมนต์และกลุ่มตัวอย่าง

โมเดลที่มีความแม่นยำโดยรวม 95% ก็ยังอาจล้มเหลวกับกลุ่มหนึ่งอย่างหนัก ค่าเฉลี่ยซ่อนจุดที่มีประสิทธิภาพต่ำเอาไว้ 🕵️

ส่วนย่อยคือชุดย่อยของข้อมูลที่มีลักษณะบางอย่างร่วมกัน เช่น ภูมิภาค ประเภทอุปกรณ์ ช่วงอายุ หรือหมวดหมู่ผลิตภัณฑ์

กลุ่มแบ่งส่วนจัดกลุ่มตามค่าของคุณลักษณะ เช่น ประเทศ ส่วนกลุ่มรุ่นเดียวกันจัดกลุ่มตามเหตุการณ์ร่วมในช่วงเวลา เช่น ผู้ใช้ที่สมัครใช้งานเมื่อเดือนมีนาคมที่ผ่านมา

แทนที่จะใช้ค่าความแม่นยำเพียงค่าเดียว ให้คำนวณเมตริกต่อส่วนย่อยแล้วเปรียบเทียบ ฟังก์ชัน groupby ของ pandas ช่วยให้ทำได้อย่างรวดเร็ว

เมื่อส่วนย่อยหนึ่งได้คะแนนต่ำกว่าส่วนอื่นมาก คุณก็พบจุดอ่อนที่เมตริกหลักปกปิดไว้อย่างเงียบ ๆ

ส่วนย่อยที่มีตัวอย่างน้อยมากจะให้เมตริกที่ผันผวน กำหนดขนาดขั้นต่ำก่อนเชื่อถือค่าของมัน

การเปรียบเทียบส่วนย่อยระหว่างกลุ่มที่อ่อนไหวช่วยเปิดเผยช่องว่างด้านความเป็นธรรม เช่น กลุ่มประชากรหนึ่งได้รับผลการทำนายที่แย่กว่าอย่างสม่ำเสมอ

การเปลี่ยนแปลงของข้อมูลอาจเกิดกับส่วนย่อยหนึ่งก่อนส่วนอื่น การติดตามการเปลี่ยนแปลงของข้อมูลต่อกลุ่มแบ่งส่วนช่วยจับการเปลี่ยนแปลงในผู้ใช้มือถือได้ก่อนที่จะขยายไปทั่วระบบ

การตรวจสอบส่วนย่อยด้วยตนเองไม่สามารถขยายรองรับขนาดใหญ่ได้ เครื่องมือค้นหาส่วนย่อยจะสแกนชุดย่อยจำนวนมากและแจ้งส่วนที่มีประสิทธิภาพแย่ที่สุดให้คุณ

การติดตามกลุ่มรุ่นเดียวกันเป็นเวลาหลายสัปดาห์แสดงให้เห็นว่าโมเดลเสื่อมประสิทธิภาพกับผู้ใช้ใหม่หรือไม่ เมื่อพฤติกรรมของผู้ใช้เหล่านั้นแตกต่างจากผู้ใช้เดิม

ส่วนย่อยที่มีปัญหาชี้แนวทางแก้ไขได้ เช่น รวบรวมข้อมูลเพิ่ม เพิ่มคุณลักษณะ หรือฝึกโมเดลที่เจาะจงตามกลุ่มแบ่งส่วนสำหรับกลุ่มนั้น

แยกเมตริกตามกลุ่มแบ่งส่วนและกลุ่มรุ่นเดียวกันเพื่อค้นหาจุดอ่อนที่ซ่อนอยู่ ช่องว่างด้านความเป็นธรรม และการเปลี่ยนแปลงของข้อมูลระยะแรกที่ค่าเฉลี่ยอาจบดบังไว้ ✅