إعداد البيانات للذكاء الاصطناعي

تخيلوا أنكم تطهون وجبة شهية. لن تستخدموا مكونات فاسدة، أليس كذلك؟

وينطبق الأمر نفسه على الذكاء الاصطناعي! إعداد البيانات هو عملية تنظيف البيانات الأولية وتحويلها إلى تنسيق نظيف وقابل للاستخدام من قِبل نماذج الذكاء الاصطناعي.

وتُعد هذه خطوة بالغة الأهمية، لأن جودة بياناتكم تؤثر مباشرةً في أداء الذكاء الاصطناعي ودقته.

نادرًا ما تأتي البيانات الأولية في حالة مثالية. وغالبًا ما تتضمن مشكلات قد تضلل نماذج الذكاء الاصطناعي.

• القيم المفقودة: خانات فارغة حيث يُفترض وجود بيانات.
• عدم الاتساق: تنسيقات مختلفة للمعلومة نفسها.
• التكرارات: إدخالات مكررة.
• القيم الشاذة: قيم متطرفة قد تحرف النتائج.

يُعد تحديد هذه المشكلات الخطوة الأولى.

قد تتسبب القيم المفقودة في حدوث أخطاء أو إنتاج نتائج متحيزة. إليكم بعض الاستراتيجيات الشائعة:

• الحذف: إزالة الصفوف أو الأعمدة التي تتضمن قدرًا كبيرًا من البيانات المفقودة (استخدموا هذه الطريقة بحذر!).
• التعويض: ملء القيم المفقودة. يمكنكم استخدام متوسط العمود أو وسيطه أو منواله.
• التنبؤ: استخدام سمات أخرى للتنبؤ بالقيم المفقودة وملئها (طريقة أكثر تقدمًا).

تعتمد الطريقة الأفضل على بياناتكم ومهمة الذكاء الاصطناعي.

تعني الإدخالات المكررة تسجيل المعلومات نفسها عدة مرات. وقد يؤدي ذلك إلى تضخيم مجموعة البيانات وتحريف النموذج.

على سبيل المثال، ظهور عميل مرتين في قائمة "التسجيلات الجديدة".

الحل بسيط: حدّدوا هذه الصفوف الزائدة وأزيلوها. تتضمن معظم أدوات البيانات دوال مدمجة لتنفيذ ذلك.

يحدث عدم الاتساق عندما تُمثَّل البيانات نفسها بطرق مختلفة. فكّروا في القيم 'USA' و'U.S.A.' و'United States'، فجميعها تعني البلد نفسه.

وينطبق ذلك أيضًا على تنسيقات التاريخ (مثل '10/01/2023' مقابل 'Jan 10, 2023') أو الوحدات (مثل 'kg' مقابل 'lbs').

يضمن توحيد هذه التنسيقات أن يفسرها نموذج الذكاء الاصطناعي تفسيرًا صحيحًا.

تتأثر بعض خوارزميات الذكاء الاصطناعي، مثل K-Nearest Neighbors، بمقياس السمات الرقمية. فقد تهيمن سمة تتراوح قيمها بين 1 و1000 على سمة تتراوح قيمها بين 0 و1.

• التطبيع: يقيّس القيم إلى نطاق ثابت، عادةً من 0 إلى 1.
• التوحيد القياسي: يحوّل البيانات بحيث يصبح متوسطها 0 وانحرافها المعياري 1.

يساعد ذلك على منع السمات ذات القيم الأكبر من التأثير بشكل غير متناسب في النموذج.

تعمل نماذج الذكاء الاصطناعي بأفضل أداء عند التعامل مع الأرقام. لذلك يجب تحويل البيانات الفئوية (مثل 'Red' و'Green' و'Blue' أو 'Small' و'Medium' و'Large').

• الترميز واحد-من-الكل: ينشئ أعمدة ثنائية جديدة (0 أو 1) لكل فئة. مثلًا: 'Color_Red' و'Color_Green'.
• ترميز التسميات: يعيّن عددًا صحيحًا فريدًا لكل فئة. مثلًا: Red=0 وGreen=1 وBlue=2. استخدموه بحذر، لأنه يوحي بوجود ترتيب.

أحيانًا لا تكون الميزات الخام كافية. هندسة الميزات هي عملية إنشاء ميزات جديدة من الميزات الموجودة لتحسين أداء النموذج.

أمثلة:

• دمج «الطول» و«الوزن» لإنشاء «مؤشر كتلة الجسم».
• استخراج «الشهر» أو «يوم الأسبوع» من عمود «التاريخ».
• إنشاء «فئة عمرية» من عمود «العمر».

يساعد ذلك النموذج على اكتشاف الأنماط بسهولة أكبر.

قبل تدريب نموذج الذكاء الاصطناعي، يجب تقسيم البيانات المُعدّة إلى مجموعات مختلفة:

• مجموعة التدريب: تُستخدم لتعليم النموذج.
• مجموعة التحقق: تُستخدم لضبط المعلمات الفائقة للنموذج ومنع فرط التخصيص أثناء التطوير.
• مجموعة الاختبار: مجموعة بيانات لم يسبق للنموذج رؤيتها، وتُستخدم للتقييم النهائي لأداء النموذج.

يضمن ذلك قدرة النموذج على التعميم جيدًا على البيانات الجديدة من العالم الحقيقي.

لقد تعلمتم خطوات مختلفة لإعداد البيانات. والآن، لنختبر مدى استيعابكم.

أحسنتم! استكشفنا في هذا الدرس العملية المهمة المتمثلة في إعداد البيانات.

تعلمتم ما يلي:

• تنظيف البيانات (القيم المفقودة، والتكرارات، وحالات عدم الاتساق).
• تحويل البيانات (تحجيم الميزات، وترميز البيانات الفئوية).
• أساسيات هندسة الميزات.
• أهمية تقسيم البيانات لتقييم النموذج.

البيانات عالية الجودة هي الأساس الذي يقوم عليه الذكاء الاصطناعي الفعّال. واصلوا ممارسة هذه المهارات!