ตรวจสอบข้อมูลด้วย Great Expectations

ข้อมูลนำเข้าที่ไม่ดีจะทำให้การทำนายเสียหายอย่างเงียบ ๆ Great Expectationsจะตรวจสอบข้อมูลที่เข้ามากับกฎต่าง ๆ ก่อนที่ข้อมูลจะไปถึงโมเดลของคุณ 🛡️

ความคาดหวังคือข้ออ้างเชิงประกาศหนึ่งข้อเกี่ยวกับข้อมูลของคุณ เช่น คอลัมน์ต้องไม่มีค่าว่าง หรือค่าต่าง ๆ ต้องอยู่ในช่วงที่กำหนด

ชื่อเมธอดบอกเจตนาอย่างชัดเจน ทำให้ทุกคนตรวจสอบได้ รูปแบบเชิงประกาศที่ชัดเจนทำให้ตรวจสอบสัญญาข้อมูลได้ง่าย

ความคาดหวังที่เกี่ยวข้องกันจะอยู่รวมกัน ชุดความคาดหวังคือกฎทั้งหมดที่คุณเรียกใช้กับชุดข้อมูลหนึ่งชุด

คุณไม่จำเป็นต้องเขียนกฎทุกข้อด้วยตนเอง เครื่องมือสร้างโปรไฟล์จะสแกนข้อมูลตัวอย่างและแนะนำชุดกฎตั้งต้นที่คุณนำไปปรับปรุงต่อได้

เมื่อนำชุดกฎไปใช้กับข้อมูลใหม่ จะได้ผลลัพธ์ว่าผ่านหรือล้มเหลว การตรวจสอบแต่ละครั้งจะรายงานอย่างชัดเจนว่าความคาดหวังข้อใดไม่ผ่านและเป็นอย่างไร

คอลัมน์อาจถูกเปลี่ยนชื่อหรือจัดลำดับใหม่โดยไม่มีการแจ้งเตือน ความคาดหวังด้านแบบแผนจะล็อกชุดคอลัมน์และลำดับไว้

ค่าอาจยังอยู่ในช่วงที่ถูกต้อง แต่รูปร่างของการกระจายเปลี่ยนไป ความคาดหวังด้านการกระจายจะแจ้งเตือนเมื่อค่าเฉลี่ยหรือการกระจายตัวเบี่ยงเบนจากข้อมูลฝึกสอน

Great Expectations จะแสดงผลลัพธ์เป็นรายงานบนเว็บ เอกสารข้อมูลเหล่านี้ช่วยให้ทั้งทีมเห็นภาพคุณภาพข้อมูลที่อ่านเข้าใจได้

ตรวจสอบตั้งแต่ขั้นตอนรับข้อมูล เพื่อหยุดข้อมูลที่ไม่ดีตั้งแต่เนิ่น ๆ ชุดกฎที่ไม่ผ่านสามารถหยุดกระบวนการประมวลผลก่อนเริ่มการฝึกสอนหรือการให้บริการ

ชุดกฎของคุณคือข้อตกลงร่วมกันว่าข้อมูลที่ดีควรมีลักษณะอย่างไร ปฏิบัติต่อสัญญาเสมือนโค้ด: ทบทวนและจัดการรุ่นไว้ใน Git

ชื่อที่ถูกต้องสำหรับกฎทั้งหมดที่คุณเรียกใช้กับชุดข้อมูลหนึ่งชุดคืออะไร

ตอนนี้คุณใช้ Great Expectations ซึ่งเป็นชุดกฎเชิงประกาศสำหรับค่าว่าง ช่วงค่า แบบแผน และการกระจาย เพื่อยืนยันข้อมูลและหยุดข้อมูลนำเข้าที่ไม่ดีตั้งแต่เนิ่น ๆ ✅