NLP Academy · पाठ

मज़बूती के लिए कैरेक्टर N-Gram

टाइपो और दुर्लभ शब्द सँभालें

पाठ 2, कुल 4 में से13 चरण

मज़बूती के लिए कैरेक्टर N-Gram, CoddyKit पर NLP Academy का एक निःशुल्क पाठ है। यह 4 में से 2वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह NLP Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

शब्द-फीचर नाज़ुक होते हैं

शब्द-स्तरीय फीचर टाइपो और दुर्लभ वर्तनी पर विफल हो जाते हैं। मॉडल runnning को एक बिल्कुल नया शब्द समझता है, इसलिए एक छोटी-सी गलती उसका पूरा संकेत मिटा सकती है।

अक्षरों तक उतरिए

पूरे शब्दों के बजाय, हम पाठ को अक्षरों के छोटे-छोटे खंडों में बाँटते हैं। इन एक-दूसरे पर चढ़ने वाले हिस्सों को character n-grams कहा जाता है।

3-gram कैसा दिखता है

cat शब्द के लिए character 3-grams अक्षरों की सरल तिकड़ियाँ हैं। ये पाठ में एक-एक स्थान आगे बढ़ते हैं और एक-दूसरे पर चढ़ने वाले खंड बनाते हैं।

word = "happy"
grams = [word[i:i+3] for i in range(len(word)-2)]

टाइपो के बावजूद टिके रहते हैं

run और runn शब्दों में अधिकांश character grams समान होते हैं। इसलिए एक टाइपो केवल कुछ फीचर बदलता है, पूरा शब्द नहीं मिटाता।

शब्द-परिवारों को पकड़ना

play, playing और player में pla gram समान है। Character grams बिना किसी stemming चरण के संबंधित रूपों को चुपचाप जोड़ देते हैं।

अव्यवस्थित पाठ के लिए बेहतरीन

सोशल मीडिया, उपयोगकर्ता नाम और उत्पाद कोड में अजीब वर्तनियाँ बहुत होती हैं। जहाँ शब्द-फीचर बिखर जाते हैं, वहाँ character grams मज़बूत बने रहते हैं।

अक्षर मोड चालू करना

scikit-learn इसे एक ही पैरामीटर से संभव बनाता है। शब्दों के बजाय character grams निकालने के लिए analyzer को char पर सेट कीजिए और एक ngram_range चुनिए।

from sklearn.feature_extraction.text import TfidfVectorizer
vec = TfidfVectorizer(analyzer="char", ngram_range=(3, 5))

char_wb शब्दों का सम्मान करता है

char_wb analyzer हर शब्द के चारों ओर padding जोड़कर केवल शब्द-सीमाओं के भीतर grams बनाता है। यह मज़बूती बनाए रखता है और दो शब्दों के बीच फैले grams से बचता है।

vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4))

अन्य भाषाओं के लिए उपयोगी

जो भाषाएँ शब्दों को जोड़ती हैं या जिनके अंत में कई रूप आते हैं, उनके लिए शब्द tokenizer कठिन होते हैं। Character grams इस समस्या से बचते हैं और भाषा-अनुकूल बने रहते हैं।

कीमत: बड़े फीचर

Character grams शब्दों की तुलना में बहुत अधिक फीचर बनाते हैं। इस अतिरिक्त आयाम के लिए अधिक मेमोरी चाहिए, इसलिए सीमा को छोटा रखिए।

साथी के रूप में सबसे अच्छे

Character grams शब्द-फीचर का विकल्प बनकर नहीं, बल्कि उनके साथ मिलकर बेहतर काम करते हैं। साथ में ये अर्थ और मज़बूती, दोनों को पकड़ते हैं। 💪

त्वरित जाँच

Character n-grams टाइपो को इतनी अच्छी तरह कैसे संभालते हैं?

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावृत्ति

Character n-grams पाठ को अक्षरों के खंडों में बाँटते हैं, टाइपो के बावजूद टिके रहते हैं और शब्द-परिवारों को जोड़ते हैं। scikit-learn में word features के साथ analyzer char का उपयोग कीजिए। ✅

शुरुआत निःशुल्क

एआई शिक्षक के साथ Python सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 30
पाठ: 120

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “मज़बूती के लिए कैरेक्टर N-Gram” पाठ निःशुल्क है?

हाँ — NLP Academy अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “मज़बूती के लिए कैरेक्टर N-Gram” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“मज़बूती के लिए कैरेक्टर N-Gram” में मैं क्या सीखूँगा?

टाइपो और दुर्लभ शब्द सँभालें आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ NLP Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या NLP Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर NLP Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 2वाँ पाठ है।

“मज़बूती के लिए कैरेक्टर N-Gram” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस NLP Academy पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर NLP Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← NLP Academy पर वापस जाएँ