पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना
अपने चरणों को एक सहायक फ़ंक्शन में समेटें
पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना, CoddyKit पर NLP Academy का एक निःशुल्क पाठ है। यह 4 में से 4वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह NLP Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
सब कुछ एक साथ जोड़ें
आपने छोटे अक्षरों में बदलना, रोक-शब्द हटाना और विराम-चिह्न मिटाना सीखा है। अब इन्हें एक ऐसे दोबारा इस्तेमाल किए जा सकने वाले फ़ंक्शन में बाँधते हैं जिसे आप कहीं भी चला सकते हैं।
कॉपी-पेस्ट से बेहतर सहायक फ़ंक्शन
एक ही clean_text फ़ंक्शन से हर दस्तावेज़ पर बिल्कुल एक जैसा काम होता है। किसी त्रुटि को एक बार ठीक करें और पूरे प्रोजेक्ट को उसका लाभ मिलता है।
हस्ताक्षर से शुरुआत करें
पहले इसका ढाँचा तय करें। इसमें कच्चा पाठ आता है और साफ़ टोकनों की सूची बाहर आती है, जो आगे के चरणों के लिए मानक इनपुट है।
def clean_text(text):
passपहला चरण: छोटे अक्षर
सबसे पहले हर चीज़ को छोटे अक्षरों में बदलें। इससे The और the एक जैसे माने जाते हैं और आपका शब्द-भंडार दोगुना नहीं होता।
text = text.lower()दूसरा चरण: चिह्न हटाएँ
इसके बाद एक तेज़ रेगेक्स से विराम-चिह्न और बचे हुए चिह्न हटा दें, ताकि अंत के चिह्न आपके शब्दों से चिपके न रहें।
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)तीसरा चरण: टोकन बनाएँ
साफ़ की गई स्ट्रिंग को शब्दों में बाँटें। यहाँ साधारण split अच्छी तरह काम करता है, क्योंकि आप पहले ही अव्यवस्थित विराम-चिह्न हटा चुके हैं।
tokens = text.split()चौथा चरण: रोक-शब्द हटाएँ
अपने रोक-शब्दों के सेट से शोर वाले शब्द निकाल दें। इस सेट को फ़ंक्शन के बाहर एक बार बनाएँ, ताकि हर बार बुलाने पर यह फिर से न बने।
tokens = [t for t in tokens if t not in stops]सब कुछ जोड़ें
चरणों को सही क्रम में रखें और परिणाम लौटाएँ। यह छोटा-सा पाइपलाइन किसी भी कच्ची स्ट्रिंग को साफ़ टोकनों में बदल देता है।
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]इसे आज़माएँ
इसे किसी अव्यवस्थित वाक्य पर चलाकर देखें और अव्यवस्था को गायब होते देखें। आउटपुट एक साफ़ सूची होती है, जो NLP के अगले चरण के लिए तैयार है।
print(clean_text("The Cats, dogs! and 2 birds."))इसे लचीला बनाएँ
एक फ़्लैग जोड़ें, ताकि ज़रूरत पड़ने पर कॉल करने वाला रोक-शब्दों को रख सके। वैकल्पिक पैरामीटर एक ही सहायक फ़ंक्शन को कई कामों के लिए उपयोगी बनाते हैं।
def clean_text(text, drop_stops=True):
...बड़े पैमाने पर लागू करें
क्योंकि यह एक फ़ंक्शन है, आप इसे एक ही पंक्ति में पूरे डेटा-समुच्चय पर मैप कर सकते हैं और हर दस्तावेज़ की एकसमान सफ़ाई कर सकते हैं।
cleaned = [clean_text(doc) for doc in documents]त्वरित जाँच
सफ़ाई के चरणों को एक साथ जोड़ते समय क्रम महत्वपूर्ण होता है।
पुनरावलोकन
आपने दोबारा इस्तेमाल किए जा सकने वाला clean_text सहायक फ़ंक्शन बनाया: छोटे अक्षर, चिह्न हटाना, टोकन बनाना और फिर रोक-शब्द हटाना। एक फ़ंक्शन, हर जगह एक जैसे परिणाम।
एआई शिक्षक के साथ Python सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 30
- पाठ
- 120
अक्सर पूछे जाने वाले प्रश्न
क्या “पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना” पाठ निःशुल्क है?
हाँ — NLP Academy अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना” में मैं क्या सीखूँगा?
अपने चरणों को एक सहायक फ़ंक्शन में समेटें आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ NLP Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या NLP Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर NLP Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 4वाँ पाठ है।
“पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस NLP Academy पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर NLP Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- स्टॉपवर्ड क्या हैं
- NLTK से स्टॉपवर्ड फ़िल्टर करना
- विराम-चिह्न और प्रतीक हटाना
- पुनः उपयोग योग्य स्वच्छ-पाठ फ़ंक्शन बनाना