การจัดการข้อมูลที่ขาดหาย

ข้อมูลที่ขาดหายพบได้ทั่วไปในชุดข้อมูล และอาจส่งผลต่อการวิเคราะห์และประสิทธิภาพของแบบจำลอง ในบทเรียนนี้ เราจะสำรวจเทคนิคในการระบุและจัดการค่าที่ขาดหายอย่างมีประสิทธิภาพ

การระบุข้อมูลที่หายไป

คุณสามารถระบุข้อมูลที่หายไปในไพธอนได้โดยใช้แพนดาส เมธอด isnull() จะตรวจจับค่าที่หายไปในชุดข้อมูล

ตัวอย่าง:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

การนับค่าที่หายไป

เมธอด isnull() สามารถใช้ร่วมกับ sum() เพื่อ nับค่าที่หายไปในแต่ละคอลัมน์

ตัวอย่าง:

print(df.isnull().sum())

การลบข้อมูลที่ขาดหาย

คุณสามารถลบแถวหรือคอลัมน์ที่มีข้อมูลขาดหายได้โดยใช้เมธอด dropna()

ตัวอย่าง:

df_cleaned = df.dropna()

การเติมข้อมูลที่หายไป

ใช้เมธอด fillna() เพื่อแทนที่ค่าที่หายไปด้วยค่าที่กำหนด เช่น ค่าเฉลี่ยหรือค่ามัธยฐาน

ตัวอย่าง:

df['Age'] = df['Age'].fillna(df['Age'].mean())

การเติมค่าด้านหน้าและด้านหลัง

เติมค่าที่ขาดหายโดยใช้ค่าก่อนหน้าหรือค่าถัดไปด้วย method='ffill' หรือ method='bfill'

ตัวอย่าง:

df['Age'] = df['Age'].fillna(method='ffill')

การเลือกเทคนิคที่เหมาะสม

พิจารณาชุดข้อมูลและเป้าหมายของการวิเคราะห์เมื่อจัดการข้อมูลที่ขาดหาย:

• ใช้ dropna() กับแถวที่มีค่าขาดหายจำนวนมาก
• ใช้ fillna() ร่วมกับค่าเฉลี่ย/มัธยฐานสำหรับข้อมูลเชิงตัวเลข
• ใช้การเติมค่าด้านหน้า/ด้านหลังสำหรับข้อมูลอนุกรมเวลา

ทบทวนบทเรียน

ในบทเรียนนี้ คุณได้เรียนรู้วิธี:

• ระบุค่าที่ขาดหายโดยใช้ isnull()
• นับค่าที่ขาดหายด้วย sum()
• จัดการข้อมูลที่ขาดหายด้วยการลบหรือเติมค่า
• เลือกเทคนิคที่เหมาะสมตามชุดข้อมูลของคุณ

ขอแสดงความยินดี

คุณเรียนจบบทเรียนเกี่ยวกับการจัดการข้อมูลที่หายไปแล้ว เรียนต่อในบทถัดไปเพื่อเรียนรู้เกี่ยวกับเทคนิคการปรับข้อมูลให้เป็นมาตรฐาน