مفاهيم واستراتيجيات التعلم بالنقل

يعيد التعلم بالنقل استخدام نموذج مدرّب على مجموعة بيانات كبيرة كنقطة بداية لمهمة جديدة مرتبطة بها. فبدلًا من تعلّم السمات البصرية من الصفر، تستفيدون من السمات التي تعلّمتها الشبكة مسبقًا.

ويقلّل هذا بدرجة كبيرة من كمية البيانات والقدرة الحاسوبية اللازمتين للوصول إلى دقة عالية.

تُدرَّب معظم نماذج الرؤية المدرّبة مسبقًا على ImageNet، التي تضم تقريبًا 1.4 مليون صورة موزعة على 1000 فئة.

تتعلّم الشبكة أثناء هذا التدريب تسلسلًا هرميًا من السمات: الحواف والألوان في الطبقات الأولى، والأنسجة في الطبقات الوسطى، وأجزاء الكائنات قرب الطبقات العليا. وتنتقل هذه السمات منخفضة المستوى جيدًا إلى أي مهمة صور تقريبًا.

تكتشف الطبقات الالتفافية الأولى أنماطًا عامة، مثل الحواف والبقع والتدرجات، تظهر في كل صورة طبيعية، سواء أكانت لقطط أم لأشعة سينية أم لصور ملتقطة عبر الأقمار الصناعية.

وتصبح الطبقات الأعمق أكثر تخصيصًا للمهمة، إذ تجمع تلك الحواف في أجزاء من كائنات ImageNet. لذلك نحتفظ عادةً بالطبقات الأولى ونستبدل الطبقات اللاحقة أو نعيد تدريبها.

يجمّد استخراج السمات كل طبقة من النموذج الأساسي المدرّب مسبقًا، بحيث لا تتغير أوزانه أبدًا. ويعمل النموذج الأساسي كمستخرج ثابت للسمات؛ فلا تدرّبون إلا رأس تصنيف صغيرًا جديدًا فوقه.

استخدموا هذه الطريقة عندما تكون مجموعة البيانات صغيرة ومشابهة لـ ImageNet. فهي سريعة وتقاوم فرط التخصيص لأن عدد المعلمات القابلة للتدريب قليل.

يُلغي الضبط الدقيق تجميد الطبقات العليا من النموذج الأساسي ويعيد تدريبها مع الرأس، مما يتيح للشبكة تكييف سماتها عالية المستوى مع بياناتكم المحددة.

استخدموا هذه الطريقة عندما تتوفر لديكم بيانات أكثر أو عندما يختلف مجالكم عن ImageNet، مثل الصور الطبية. واحرصوا دائمًا على إجراء الضبط الدقيق بمعدل تعلم منخفض جدًا لتجنب إتلاف الأوزان المدرّبة مسبقًا.

• استخراج السمات: النموذج الأساسي مجمّد، ولا يُدرَّب إلا الرأس، وهو سريع جدًا ومناسب للبيانات الصغيرة والمتشابهة.
• الضبط الدقيق: إلغاء تجميد الطبقات العليا من النموذج الأساسي مع الرأس، وهو أبطأ ومناسب للبيانات الأكبر أو المختلفة.

من الأساليب الشائعة إجراء استخراج السمات أولًا، ثم الضبط الدقيق في مرحلة ثانية بعد استقرار الرأس.

يحدد مقدار البيانات المتوفرة لديكم الاستراتيجية المناسبة:

• بضع مئات من الصور: استخراج السمات فقط، مع تجميد كل شيء.
• بضعة آلاف من الصور: استخراج السمات، ثم إجراء ضبط دقيق للطبقات العليا القليلة.
• عشرات الآلاف أو أكثر: إجراء ضبط دقيق لأجزاء أكبر من النموذج الأساسي، وربما للشبكة بأكملها.

كلما قلت البيانات، جمّدوا عددًا أكبر من الطبقات، لأن تقليل عدد المعلمات القابلة للتدريب يقلل خطر فرط التخصيص.

تنتج نماذج ImageNet عددًا قدره 1000 فئة. ومن المحتمل أن يكون لمهمتكم عدد مختلف، لذا أزيلوا الرأس العلوي الأصلي باستخدام include_top=False وأضيفوا رأسًا خاصًا بكم بالحجم الموافق لعدد الفئات.

يتوقع كل نوع من النماذج المدرّبة مسبقًا أن تكون المدخلات مُقاسة بالطريقة نفسها التي استُخدمت أثناء تدريبها على ImageNet. لذلك يُعد استخدام preprocess_input المطابق أمرًا ضروريًا، وإلا انهارت الدقة.

يُعد معدل التعلم العادي، مثل 1e-3، مناسبًا أثناء استخراج السمات، لأن الرأس الجديد وحده هو الذي يتدرب.

أما أثناء الضبط الدقيق، فيجب خفضه إلى قيمة صغيرة جدًا مثل 1e-5. فالتحديثات الكبيرة قد تمحو أوزان ImageNet التي جرى تعلمها بعناية، وهو تأثير يُسمى النسيان الكارثي.

1. حمّلوا نموذجًا أساسيًا مدرّبًا مسبقًا باستخدام include_top=False.
2. جمّدوه ودرّبوا رأسًا جديدًا، وهذا هو استخراج السمات.
3. ألغوا تجميد الطبقات العليا وأعيدوا تدريبها بمعدل تعلم صغير جدًا، وهذا هو الضبط الدقيق.
4. قيّموا النموذج وحوّلوه للنشر.

يحقق هذا النهج المرحلي دقة قوية حتى مع مجموعات البيانات محدودة الحجم.

اختبروا فهمكم لاستراتيجيات التعلم بالنقل.

تعلّمتم أن التعلم بالنقل يعيد استخدام السمات المدرّبة مسبقًا على ImageNet، التي تضم 1.4 مليون صورة و1000 فئة. ويجمّد استخراج السمات النموذج الأساسي لمجموعات البيانات الصغيرة أو المتشابهة، بينما يلغي الضبط الدقيق تجميد الطبقات العليا باستخدام معدل تعلم صغير جدًا للبيانات الأكبر أو المختلفة.

طابقوا المعالجة المسبقة مع النموذج الأساسي، واستبدلوا الرأس ليتوافق مع فئاتكم، واستخدموا سير عمل مرحليًا. بعد ذلك سنحوّل هذه المفاهيم إلى تعليمات برمجية باستخدام VGG16 وResNet50.