การเตรียมข้อมูลสำหรับปัญญาประดิษฐ์

ลองนึกภาพว่าคุณกำลังทำอาหารอร่อย ๆ คุณคงไม่ใช้วัตถุดิบเน่าเสียใช่ไหม

AI ก็เช่นเดียวกัน! การเตรียมข้อมูลคือกระบวนการทำความสะอาดและแปลงข้อมูลดิบให้อยู่ในรูปแบบที่สะอาดและพร้อมใช้งานสำหรับโมเดล AI

ขั้นตอนนี้มีความสำคัญอย่างยิ่ง เพราะคุณภาพของข้อมูลส่งผลโดยตรงต่อประสิทธิภาพและความแม่นยำของ AI

ข้อมูลดิบแทบจะไม่อยู่ในสภาพสมบูรณ์ตั้งแต่แรก ข้อมูลมักมีปัญหาที่อาจทำให้โมเดล AI เข้าใจผิด

• ค่าที่หายไป: ช่องว่างในตำแหน่งที่ควรมีข้อมูล
• ความไม่สอดคล้อง: การใช้รูปแบบที่แตกต่างกันสำหรับข้อมูลเดียวกัน
• ข้อมูลซ้ำ: รายการที่ปรากฏซ้ำ
• ค่าผิดปกติ: ค่าที่สุดโต่งซึ่งอาจทำให้ผลลัพธ์เบี่ยงเบน

การระบุปัญหาเหล่านี้คือขั้นตอนแรก

ค่าที่หายไปอาจทำให้เกิดข้อผิดพลาดหรือผลลัพธ์ที่มีอคติ ต่อไปนี้คือกลยุทธ์ที่ใช้กันทั่วไป:

• การลบ: ลบแถวหรือคอลัมน์ที่มีข้อมูลหายไปมากเกินไป (ควรใช้ด้วยความระมัดระวัง!)
• การเติมค่า: เติมค่าที่หายไป โดยใช้ค่าเฉลี่ย ค่ามัธยฐาน หรือค่าฐานนิยมของคอลัมน์
• การคาดการณ์: ใช้คุณลักษณะอื่นเพื่อคาดการณ์และเติมค่าที่หายไป (เป็นวิธีขั้นสูงกว่า)

วิธีที่ดีที่สุดขึ้นอยู่กับข้อมูลและงาน AI ของคุณ

รายการซ้ำหมายความว่ามีการบันทึกข้อมูลเดียวกันหลายครั้ง ซึ่งอาจทำให้ชุดข้อมูลของคุณมีขนาดเกินจริงและทำให้โมเดลมีอคติ

ตัวอย่างเช่น ลูกค้าคนเดียวกันปรากฏสองครั้งในรายการ 'ผู้สมัครใหม่'

วิธีแก้ไขนั้นตรงไปตรงมา: ระบุและลบแถวที่ซ้ำซ้อนเหล่านี้ เครื่องมือข้อมูลส่วนใหญ่มีฟังก์ชันสำหรับทำสิ่งนี้ในตัว

ความไม่สอดคล้องเกิดขึ้นเมื่อข้อมูลเดียวกันถูกนำเสนอในรูปแบบต่างกัน ลองนึกถึง 'USA', 'U.S.A.' และ 'United States' ซึ่งล้วนหมายถึงประเทศเดียวกัน

เรื่องนี้ใช้กับรูปแบบวันที่ด้วย (เช่น '10/01/2023' กับ 'Jan 10, 2023') รวมถึงหน่วยวัด (เช่น 'kg' กับ 'lbs')

การทำข้อมูลเหล่านี้ให้เป็นมาตรฐานช่วยให้โมเดล AI ตีความได้อย่างถูกต้อง

อัลกอริทึม AI บางประเภท เช่น K-Nearest Neighbors มีความไวต่อสเกลของคุณลักษณะตัวเลข คุณลักษณะที่มีค่าตั้งแต่ 1-1000 อาจมีอิทธิพลมากกว่าคุณลักษณะที่มีค่าตั้งแต่ 0-1

• การทำให้เป็นบรรทัดฐาน: ปรับค่าให้อยู่ในช่วงคงที่ โดยปกติคือ 0 ถึง 1
• การทำให้เป็นมาตรฐาน: แปลงข้อมูลให้มีค่าเฉลี่ยเป็น 0 และส่วนเบี่ยงเบนมาตรฐานเป็น 1

วิธีนี้ช่วยป้องกันไม่ให้คุณลักษณะที่มีค่ามากกว่ามีอิทธิพลต่อโมเดลอย่างไม่สมส่วน

โมเดล AI ทำงานได้ดีที่สุดกับตัวเลข ข้อมูลเชิงหมวดหมู่ (เช่น 'Red', 'Green', 'Blue' หรือ 'Small', 'Medium', 'Large') จึงต้องแปลงให้อยู่ในรูปตัวเลข

• การเข้ารหัสแบบ One-Hot: สร้างคอลัมน์ไบนารีใหม่ (0 หรือ 1) สำหรับแต่ละหมวดหมู่ เช่น 'Color_Red' และ 'Color_Green'
• การเข้ารหัสป้ายกำกับ: กำหนดจำนวนเต็มที่ไม่ซ้ำกันให้แต่ละหมวดหมู่ เช่น Red=0, Green=1, Blue=2 ควรใช้อย่างระมัดระวัง เพราะวิธีนี้สื่อว่าหมวดหมู่มีลำดับ

บางครั้งคุณลักษณะดิบเพียงอย่างเดียวอาจยังไม่เพียงพอ วิศวกรรมคุณลักษณะคือการสร้างคุณลักษณะใหม่จากคุณลักษณะที่มีอยู่ เพื่อเพิ่มประสิทธิภาพของโมเดล

ตัวอย่าง:

• การรวม 'ส่วนสูง' และ 'น้ำหนัก' เพื่อสร้าง 'BMI'
• การดึง 'เดือน' หรือ 'วันในสัปดาห์' จากคอลัมน์ 'วันที่'
• การสร้าง 'กลุ่มอายุ' จากคอลัมน์ 'อายุ'

วิธีนี้ช่วยให้โมเดลค้นหารูปแบบต่าง ๆ ได้ง่ายขึ้น

ก่อนฝึกโมเดล AI คุณต้องแบ่งข้อมูลที่เตรียมไว้แล้วออกเป็นชุดต่าง ๆ:

• ชุดฝึก: ใช้สำหรับสอนโมเดล
• ชุดตรวจสอบ: ใช้สำหรับปรับค่าพารามิเตอร์ระดับสูงของโมเดล และป้องกันการเรียนรู้เกินระหว่างการพัฒนา
• ชุดทดสอบ: ชุดข้อมูลที่โมเดลไม่เคยเห็นมาก่อน ใช้สำหรับประเมินประสิทธิภาพของโมเดลในขั้นสุดท้าย

วิธีนี้ช่วยให้โมเดลทำงานได้ดีกับข้อมูลใหม่จากโลกจริง

ทำได้ดีมาก! ในบทเรียนนี้ เราได้สำรวจกระบวนการสำคัญอย่างการเตรียมข้อมูล

คุณได้เรียนรู้เกี่ยวกับ:

• การทำความสะอาดข้อมูล (ค่าที่หายไป ข้อมูลซ้ำ และข้อมูลที่ไม่สอดคล้องกัน)
• การแปลงข้อมูล (การปรับสเกลคุณลักษณะ และการเข้ารหัสข้อมูลเชิงหมวดหมู่)
• พื้นฐานวิศวกรรมคุณลักษณะ
• ความสำคัญของการแบ่งข้อมูลเพื่อประเมินโมเดล

ข้อมูลคุณภาพสูงคือรากฐานของ AI ที่มีประสิทธิภาพ ฝึกฝนทักษะเหล่านี้ต่อไปนะครับ