Train, Validation और Test विभाजित करें
समझें कि आपको एक नहीं, तीन सेट क्यों चाहिए
Train, Validation और Test विभाजित करें, CoddyKit पर Deep Learning Academy का एक निःशुल्क पाठ है। यह 4 में से 1वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह Deep Learning Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। Deep Learning Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
एक ही डेटा-ढेर पर्याप्त नहीं है
यदि आप मॉडल को उसी डेटा पर प्रशिक्षित और परखते हैं, तो आपको केवल यह पता चलता है कि उसने उन पंक्तियों को याद कर लिया है। मॉडल पर भरोसा करने के लिए आपको अपने डेटा को अलग-अलग भूमिकाओं में विभाजित करना होगा।
प्रशिक्षण समुच्चय से परिचय
प्रशिक्षण समुच्चय वह डेटा है जिससे आपका मॉडल वास्तव में सीखता है। उसके भारों को बार-बार समायोजित किया जाता है, ताकि वे ठीक इन्हीं उदाहरणों के अनुरूप हो जाएँ।
सत्यापन समुच्चय से परिचय
सत्यापन समुच्चय को प्रशिक्षण के दौरान अलग रखा जाता है और बीच-बीच में जाँचा जाता है। यह बताता है कि जिन डेटा पर मॉडल ने कभी अपडेट नहीं किया, उन पर वह कैसा प्रदर्शन करता है।
परीक्षण समुच्चय से परिचय
परीक्षण समुच्चय को केवल अंत में एक बार उपयोग किया जाता है। सभी चुनाव हो जाने के बाद यह एक निष्पक्ष अंतिम अंक देता है।
सत्यापन अलग क्यों है
आप सत्यापन परिणाम देखकर सीखने की दर जैसे विकल्पों को समायोजित करते हैं। इससे अनजाने में सत्यापन समुच्चय आपके चुनावों में शामिल हो जाता है, इसलिए वह साफ़-सुथरे अंतिम निर्णायक के रूप में उपयोग नहीं किया जा सकता।
परीक्षण समुच्चय सुरक्षित रहता है
क्योंकि सत्यापन ने आपके निर्णयों का मार्गदर्शन किया है, इसलिए वास्तविकता जाँचने के लिए आपको एक ऐसा डेटा-ढेर चाहिए जिसे छुआ न गया हो। पूरी तरह समाप्त होने तक परीक्षण समुच्चय को सुरक्षित रखें।
एक सामान्य विभाजन
एक सामान्य शुरुआती अनुपात लगभग 80/10/10 होता है: अधिकांश डेटा प्रशिक्षण के लिए और छोटे हिस्से सत्यापन तथा परीक्षण के लिए। आपके पास उपलब्ध डेटा की मात्रा के अनुसार इसे बदलें।
random_split से विभाजित करें
PyTorch आपको random_split देता है, जिससे आप लंबाई के आधार पर डेटा-समुच्चय को हिस्सों में बाँट सकते हैं। यह आपके लिए नमूनों को अलग-अलग समुच्चयों में भेजने से पहले उन्हें मिला देता है।
from torch.utils.data import random_split
train, val, test = random_split(ds, [800, 100, 100])पुनरुत्पाद्य विभाजन के लिए बीज
विभाजन यादृच्छिक होता है, इसलिए यदि आप हर बार वही हिस्से चाहते हैं तो बीज निर्धारित करें। इससे अलग-अलग सत्रों के प्रयोगों की तुलना की जा सकती है।
g = torch.Generator().manual_seed(42)
train, val, test = random_split(ds, [800, 100, 100], generator=g)संतुलन के लिए स्तरीकरण
दुर्लभ वर्गों के मामले में साधारण यादृच्छिक विभाजन कुछ वर्गों को छोड़ सकता है। स्तरीकरण प्रत्येक समुच्चय में वर्गों का अनुपात मूल डेटा के करीब रखता है, ताकि अंक अर्थपूर्ण रहें।
परीक्षण को कभी न झाँकें
स्वर्णिम नियम सरल है: किसी भी निर्णय को प्रभावित करने के लिए परीक्षण समुच्चय का उपयोग न करें। जिस क्षण ऐसा होता है, आपका अंतिम अंक भरोसेमंद नहीं रहता।
त्वरित जाँच
किस समुच्चय को आपको केवल अंत में, एक बार देखना चाहिए?
पुनरावलोकन
तीन समुच्चय, तीन भूमिकाएँ: प्रशिक्षण मॉडल को सिखाता है, सत्यापन आपके समायोजन का मार्गदर्शन करता है, और परीक्षण निष्पक्ष अंतिम अंक देता है। अंत तक परीक्षण को सुरक्षित रखें। 🎯
एआई शिक्षक के साथ Python सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 30
- पाठ
- 120
अक्सर पूछे जाने वाले प्रश्न
क्या “Train, Validation और Test विभाजित करें” पाठ निःशुल्क है?
हाँ—“Train, Validation और Test विभाजित करें” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और Deep Learning Academy पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। Deep Learning Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“Train, Validation और Test विभाजित करें” में मैं क्या सीखूँगा?
समझें कि आपको एक नहीं, तीन सेट क्यों चाहिए आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ Deep Learning Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या Deep Learning Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर Deep Learning Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 1वाँ पाठ है।
“Train, Validation और Test विभाजित करें” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस Deep Learning Academy पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर Deep Learning Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- Train, Validation और Test विभाजित करें
- Validation वाला Epoch Loop
- state_dict के साथ Save और Load
- Val Loss पर Early Stopping