أنماط بنية أنظمة الذكاء الاصطناعي

نظام الذكاء الاصطناعي في بيئة الإنتاج أكبر بكثير من مجرد ملف نموذج. فهو يشمل مسارات البيانات، ومخازن السمات، والبنية التحتية لتقديم النماذج، والمراقبة. وتُعد أنماط المعمارية مخططات مجرّبة لتجميع هذه المكونات بصورة موثوقة.

غالبًا ما تحتاج أنظمة الذكاء الاصطناعي إلى كليهما:

• المعالجة الدفعية للحصول على نتائج دقيقة وشاملة من البيانات التاريخية
• المعالجة في الوقت الفعلي للحصول على نتائج حديثة بزمن استجابة منخفض للأحداث الجديدة

ويمثل التوفيق بين هذين النوعين تحديًا تصميميًا متكررًا.

تجيب معمارية Lambda عن ذلك باستخدام طبقتين تعملان بالتوازي: طبقة المعالجة الدفعية التي تعيد حساب عروض دقيقة على جميع البيانات، وطبقة السرعة التي تتعامل مع البيانات الحديثة بزمن استجابة منخفض. وتدمج طبقة التقديم كليهما عند تنفيذ الاستعلامات.

تعيد طبقة المعالجة الدفعية معالجة مجموعة البيانات الكاملة دوريًا لإنتاج نتائج موثوقة وصحيحة، مثل إعادة حساب السمات ليلًا. وهي دقيقة لكنها ذات زمن استجابة مرتفع، ولذلك لا يمكنها عكس الأحداث التي وقعت خلال الثواني القليلة الماضية.

تعالج طبقة السرعة البيانات المتدفقة في وقت قريب من الوقت الفعلي لسد الفجوة منذ آخر تشغيل للمعالجة الدفعية. وهي تضحي ببعض الدقة مقابل الحداثة، وتحل نتائجها في النهاية محلها نتائج التشغيل الدفعي التالي.

مخزن السمات هو نظام مركزي لإدارة سمات ML. وهو يحل مشكلة أساسية: يجب أن يستخدم التدريب والتقديم تعريفات السمات نفسها، وإلا فسيرى النموذج في الإنتاج مدخلات مختلفة عن تلك التي تدرب عليها (الانحراف بين التدريب والتقديم).

يحتفظ المخزن غير المتصل بقيم السمات التاريخية الكبيرة، وعادةً ما تكون في ملفات parquet داخل بحيرة بيانات أو مستودع بيانات. وهو يدعم التدريب والتسجيل الدفعي، حيث تكون الإنتاجية أهم من زمن الاستجابة.

يحتفظ المخزن المتصل بأحدث قيم السمات في قاعدة بيانات منخفضة زمن الاستجابة مثل Redis. وعند تقديم النموذج، يجلب النموذج السمات من هنا خلال ميلي ثوانٍ، باستخدام التعريفات نفسها الموجودة في المخزن غير المتصل.

يضمن مخزن السمات تطابق السمة المحسوبة للتدريب (في المخزن غير المتصل) مع ما يقرأه التقديم (من المخزن المتصل). ويزيل هذا الاتساق مصدرًا رئيسيًا للأخطاء الخفية في الإنتاج، ويمثل القيمة الأساسية لمخزن السمات.

قبل الوثوق بنموذج جديد في الإنتاج، شغّلوه في وضع الظل: إذ يستقبل حركة المرور الحقيقية ويُصدر تنبؤات، لكن تُسجّل هذه التنبؤات ولا تُقدّم للمستخدمين. ويمكنكم مقارنتها بالنموذج الحالي من دون أي مخاطرة على المستخدمين.

بعد أن يثبت وضع الظل دقة النموذج الجديد واستقراره على حركة المرور الفعلية، تقومون بترقيته، غالبًا عبر طرح تدريجي. ويوفر الجمع بين وضع الظل والطرح التدريجي مسارًا آمنًا ومتدرجًا لنقل النموذج المدرَّب إلى حركة المرور الكاملة في الإنتاج.

اختبروا معرفتكم بمعمارية الأنظمة.

لقد تعلمتم أنماط معمارية أنظمة الذكاء الاصطناعي:

• معمارية Lambda: طبقة المعالجة الدفعية (دقيقة) بالإضافة إلى طبقة السرعة (حديثة)
• مخزن السمات: parquet غير متصل للتدريب، وRedis متصل للتقديم، مع تعريفات متسقة
• يتحقق وضع الظل من النموذج الجديد باستخدام حركة المرور الحقيقية قبل ترقيته