कृत्रिम बुद्धिमत्ता के लिए डेटा तैयार करना

अनुपलब्ध मान त्रुटियाँ या पक्षपातपूर्ण परिणाम उत्पन्न कर सकते हैं। यहाँ कुछ सामान्य रणनीतियाँ हैं:

• हटाना: जिन पंक्तियों या कॉलम में बहुत अधिक डेटा अनुपलब्ध हो, उन्हें हटा दें (सावधानी से उपयोग करें!)।
• मान आरोपण: अनुपलब्ध मान भरें। इसके लिए आप कॉलम के माध्य, माध्यिका या बहुलक का उपयोग कर सकते हैं।
• पूर्वानुमान: अनुपलब्ध मानों का अनुमान लगाकर उन्हें भरने के लिए अन्य विशेषताओं का उपयोग करें (यह अधिक उन्नत तरीका है)।

सबसे अच्छी विधि आपके डेटा और AI कार्य पर निर्भर करती है।

डुप्लिकेट प्रविष्टियों का अर्थ है कि एक ही जानकारी कई बार दर्ज की गई है। इससे आपका डेटासेट कृत्रिम रूप से बड़ा दिखाई दे सकता है और आपके मॉडल में पक्षपात आ सकता है।

उदाहरण के लिए, 'नए साइन-अप' की सूची में किसी ग्राहक का दो बार दिखाई देना।

समाधान सीधा है: इन अनावश्यक पंक्तियों की पहचान करके उन्हें हटा दें। अधिकांश डेटा उपकरणों में इसके लिए अंतर्निहित फ़ंक्शन होते हैं।

असंगतियाँ तब होती हैं जब एक ही डेटा को अलग-अलग तरीकों से दर्शाया जाता है। 'USA', 'U.S.A.' और 'United States' को ही उदाहरण के रूप में लें—इन तीनों का अर्थ एक ही देश है।

यह तारीख के प्रारूपों (जैसे, '10/01/2023' और 'Jan 10, 2023') या इकाइयों (जैसे, 'kg' और 'lbs') पर भी लागू होता है।

इन प्रारूपों को मानकीकृत करने से यह सुनिश्चित होता है कि आपका AI मॉडल उनका सही अर्थ समझे।

कुछ AI एल्गोरिदम, जैसे K-Nearest Neighbors, संख्यात्मक विशेषताओं के पैमाने के प्रति संवेदनशील होते हैं। 1-1000 तक के मानों वाली विशेषता, 0-1 तक के मानों वाली विशेषता पर हावी हो सकती है।

• सामान्यीकरण: मानों को एक निश्चित सीमा, आम तौर पर 0 से 1, में बदलता है।
• मानकीकरण: डेटा को इस तरह बदलता है कि उसका माध्य 0 और मानक विचलन 1 हो।

इससे बड़ी संख्याओं वाली विशेषताओं को मॉडल पर असंगत रूप से अधिक प्रभाव डालने से रोकने में मदद मिलती है।

AI मॉडल संख्याओं के साथ सबसे अच्छा काम करते हैं। श्रेणीबद्ध डेटा (जैसे 'लाल', 'हरा', 'नीला' या 'छोटा', 'मध्यम', 'बड़ा') को बदलना आवश्यक होता है।

• वन-हॉट एन्कोडिंग: प्रत्येक श्रेणी के लिए नई द्विआधारी (0 या 1) पंक्तियाँ बनाती है। उदाहरण: 'Color_Red', 'Color_Green'।
• लेबल एन्कोडिंग: प्रत्येक श्रेणी को एक विशिष्ट पूर्णांक देती है। उदाहरण: Red=0, Green=1, Blue=2। इसका सावधानी से उपयोग करें, क्योंकि इससे श्रेणियों में क्रम होने का संकेत मिलता है।

कभी-कभी, केवल मूल सुविधाएँ पर्याप्त नहीं होतीं। फीचर इंजीनियरिंग मौजूदा सुविधाओं से नई सुविधाएँ बनाने की कला है, जिससे मॉडल का प्रदर्शन बेहतर होता है।

उदाहरण:

• 'height' और 'weight' को मिलाकर 'BMI' बनाना।
• 'date' कॉलम से 'month' या 'day of week' निकालना।
• 'age' कॉलम से 'age group' बनाना।

इससे मॉडल को पैटर्न अधिक आसानी से खोजने में मदद मिलती है।

अपने एआई मॉडल को प्रशिक्षित करने से पहले, आपको तैयार किए गए डेटा को अलग-अलग सेट में बाँटना आवश्यक है:

• प्रशिक्षण सेट: मॉडल को सिखाने के लिए उपयोग किया जाता है।
• सत्यापन सेट: मॉडल के हाइपरपैरामीटर को समायोजित करने और विकास के दौरान ओवरफिटिंग रोकने के लिए उपयोग किया जाता है।
• परीक्षण सेट: मॉडल के प्रदर्शन के अंतिम मूल्यांकन के लिए उपयोग किया जाने वाला ऐसा डेटासेट, जिसे मॉडल ने पहले कभी नहीं देखा है।

इससे यह सुनिश्चित होता है कि आपका मॉडल नए, वास्तविक दुनिया के डेटा पर अच्छी तरह सामान्यीकरण कर सके।

बहुत अच्छा! इस पाठ में हमने डेटा तैयारी की महत्वपूर्ण प्रक्रिया का अध्ययन किया।

आपने इन विषयों के बारे में सीखा:

• डेटा को साफ़ करना (लुप्त मान, डुप्लिकेट और असंगतियाँ)।
• डेटा में रूपांतरण करना (फीचर स्केलिंग और श्रेणीबद्ध डेटा की एन्कोडिंग)।
• मूलभूत फीचर इंजीनियरिंग।
• मॉडल के मूल्यांकन के लिए डेटा को बाँटने का महत्व।

उच्च-गुणवत्ता वाला डेटा प्रभावी एआई की नींव है। इन कौशलों का अभ्यास करते रहें!