تخزين الخطوات غير المتغيرة مؤقتاً وتجاوزها

إذا عدّلتم برنامج التقييم فقط، فإن إعادة تشغيل الاستيراد والتدريب تهدر الوقت. يخزّن DVC نتائج المراحل مؤقتًا، ولذلك يتجاوز العمل الذي لم يتغير. ⏱️

يحسب DVC لكل مرحلة تجزئة لتبعياتها وأمرها. وتمثل هذه التجزئة بصمةً تتغير فور تغيّر أي مدخل.

عند تشغيل dvc repro، يقارن DVC التجزئة الحالية لكل مرحلة بالتجزئة الموجودة في dvc.lock. فإذا تطابقتا، يتجاوز المرحلة.

يخبركم DVC بوضوح عندما لا يتغير شيء. وتعني رسالة مثل didn't change, skipping إعادة استخدام المخرج المخزّن مؤقتًا.

عند تغيير أحد مدخلات التجهيز، يعيد DVC تشغيل التجهيز، ثم كل مرحلة لاحقة تعتمد عليه. أما المراحل السابقة فتظل مخزّنة مؤقتًا.

تُحفظ مخرجات المراحل في مجلد cache الخاص بـ DVC، وتُفهرس بحسب التجزئة. ويعني تجاوز مرحلة أن DVC يستعيد ذلك الملف المخزّن مؤقتًا.

هل تحتاجون إلى تجاهل الذاكرة المؤقتة؟ مرّروا --force إلى dvc repro، وستُشغَّل كل مرحلة مجددًا حتى إذا لم يتغير شيء.

يمكنكم استهداف مرحلة واحدة بالاسم باستخدام dvc repro -s. وهذا مفيد عندما تريدون إعادة تشغيل train فقط دون المساس ببقية المراحل.

شغّلوا dvc status لمعرفة المراحل القديمة دون تنفيذ أي شيء. إنها محاكاة آمنة لما سينفذه repro.

في مجموعات البيانات الكبيرة، تحوّل التخزين المؤقت خط أنابيب يستغرق ثلاثين دقيقة إلى ثوانٍ عندما تتغير مرحلة واحدة فقط. وهذه الحلقة السريعة من التغذية الراجعة هي الفائدة الأساسية. ⚡

بما أن dvc.lock يحتفظ بقيم التجزئة، فإن إضافته إلى المستودع تتيح لأعضاء الفريق إعادة استخدام قرارات الذاكرة المؤقتة نفسها وتجاوز العمل الذي أنجزتموه مسبقًا.

رأيتم كيف ينشئ DVC تجزئات للمدخلات لتجاوز المراحل التي لم تتغير، وينقل التغييرات إلى المراحل اللاحقة، ويفرض إعادة التشغيل عند الحاجة. خطوط أنابيب سريعة وذكية. 🎯