หยุดการรั่วไหลของข้อมูลตั้งแต่เริ่มต้น

ข้อมูลรั่วไหล เกิดขึ้นเมื่อข้อมูลจากชุดทดสอบแอบเข้าไปอยู่ในการฝึก คะแนนจึงดูยอดเยี่ยม ก่อนจะพังลงเมื่อใช้งานจริง

ข้อมูลรั่วไหลเปิดโอกาสให้โมเดลแอบเห็นคำตอบที่ไม่ควรเห็น คะแนนทดสอบจึงกลายเป็น ภาพฝัน ไม่ใช่การคาดการณ์ประสิทธิภาพในอนาคต

การปรับสเกลหรือเติมค่าบนชุดข้อมูลทั้งหมดก่อนแบ่งข้อมูลทำให้เกิดการรั่วไหล แถวข้อมูลจากชุดทดสอบได้กำหนดสถิติของ การเตรียมข้อมูลล่วงหน้า โดยที่คุณไม่รู้ตัว

ต้องใช้ fit กับตัวแปลงข้อมูลโดยอาศัยข้อมูลฝึกเพียงอย่างเดียวเสมอ เรียนรู้ค่าเฉลี่ย การปรับสเกล หรือค่าที่ใช้เติมจากข้อมูลฝึก ห้ามเรียนรู้จากชุดทดสอบ

เมื่อปรับให้เหมาะสมกับข้อมูลฝึกแล้ว คุณเพียงใช้ transform กับชุดทดสอบโดยใช้ตัวเลขที่เรียนรู้มา ข้อมูลทดสอบจะถูกปรับรูปแบบ แต่จะไม่ถูกนำมาใช้ในการเรียนรู้

ข้อมูลรั่วไหลอีกชนิดที่สังเกตได้ยากกว่าคือ ข้อมูลเป้าหมายรั่วไหล ซึ่งเกิดจากคุณลักษณะที่แอบเข้ารหัสคำตอบไว้ เช่น ใช้ตัวบ่งชี้การคืนเงินเพื่อทำนายการคืนเงิน

สำหรับข้อมูลตามเวลา การใช้ค่าที่ถูกบันทึกหลังเวลาที่ทำนายจะทำให้ อนาคต รั่วไหลเข้ามา ใช้เฉพาะข้อมูลที่มีอยู่ ณ เวลาตัดสินใจเท่านั้น

รวมการเตรียมข้อมูลล่วงหน้าและโมเดลไว้ใน ไปป์ไลน์ ไปป์ไลน์จะปรับการแปลงข้อมูลใหม่ในแต่ละส่วนฝึก จึงป้องกันข้อมูลรั่วไหลโดยอัตโนมัติ

ส่งไปป์ไลน์ทั้งหมดให้การตรวจสอบไขว้ จากนั้นการปรับสเกลจะเรียนรู้ ภายใน แต่ละส่วนย่อย จึงไม่มีส่วนทดสอบใดเข้ามาเกี่ยวข้องกับการปรับให้เหมาะสม

คะแนนที่เกือบสมบูรณ์แบบเป็นสัญญาณเตือน ไม่ใช่ถ้วยรางวัล ปัญหาในโลกจริงมีสัญญาณรบกวน ดังนั้นควร ตรวจสอบ ก่อนฉลอง

สิ่งใดก็ตามที่เรียนรู้จากข้อมูลต้องเรียนรู้จากข้อมูลฝึกเท่านั้น เก็บชุดข้อมูลทดสอบไว้ ปิดผนึก จนกว่าจะประเมินขั้นสุดท้ายเพียงครั้งเดียว 🔒

คุณปรับสเกลข้อมูล แล้วจะหลีกเลี่ยงข้อมูลรั่วไหลได้อย่างไร

ข้อมูลรั่วไหลทำให้คะแนนสูงเกินจริงด้วยการนำคำตอบแอบใส่เข้ามา ปรับการแปลงข้อมูลให้เหมาะสมกับข้อมูลฝึกเท่านั้น ใช้ ไปป์ไลน์ และเก็บชุดข้อมูลทดสอบไว้ปิดผนึก 🔒