टोकनीकरण और सामान्यीकरण

टोकनीकरण और सामान्यीकरण

पाठ पूर्व-प्रसंस्करण प्राकृतिक भाषा संसाधन का एक महत्वपूर्ण चरण है। इसमें कच्चे पाठ को विश्लेषण के लिए एक संरचित प्रारूप में बदलना शामिल है। पूर्व-प्रसंस्करण के प्रमुख चरणों में टोकनीकरण और सामान्यीकरण शामिल हैं।

टोकनीकरण पाठ को छोटी इकाइयों में बाँटने की प्रक्रिया है, जिन्हें टोकन कहा जाता है। टोकन words, वाक्य या वर्ण हो सकते हैं।

उदाहरण के लिए:

पाठ: "NLP is amazing!"

टोकन: ["NLP", "is", "amazing", "!"]

NLTK पुस्तकालय का उपयोग करके, हम पाठ को words या वाक्यों में टोकनीकृत कर सकते हैं:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

सामान्यीकरण में पाठ को साफ़ करना और एकरूप बनाना शामिल है। सामान्य सामान्यीकरण तकनीकों में ये शामिल हैं:

• लोअरकेस में बदलना: पूरे पाठ को लोअरकेस में बदलना।
• विराम चिह्न हटाना: विराम चिह्नों को हटाना।
• स्टेमिंग: words को उनके मूल रूप में घटाना (जैसे, "दौड़ना" → "दौड़")।
• लेमेटाइज़ेशन: संदर्भ का उपयोग करके words को उनके आधार रूप में घटाना (जैसे, "बेहतर" → "अच्छा")।

पाठ को लोअरकेस में बदलकर और विराम चिह्न हटाकर सामान्यीकृत करने का तरीका यहाँ दिया गया है:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

स्टेमिंग: प्रत्ययों को हटाकर words को उनके मूल रूप में घटाता है। यह नियम-आधारित होता है और हमेशा मान्य शब्द नहीं बना पाता।

लेमेटाइज़ेशन: शब्दावली और व्याकरण के नियमों का उपयोग करके words को उनके अर्थपूर्ण आधार रूप में घटाता है।

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

रोक-शब्द सामान्य शब्द होते हैं (जैसे, "है", "और", "वह"), जिनमें अक्सर महत्वपूर्ण अर्थ नहीं होता। इन्हें हटाने से पाठ विश्लेषण सरल हो सकता है:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

पाठ पूर्व-प्रसंस्करण इन कारणों से चुनौतीपूर्ण हो सकता है:

• अस्पष्टता: "लीड" जैसे शब्दों के कई अर्थ हो सकते हैं।
• संदर्भ: लेमेटाइज़ेशन के लिए शब्द के संदर्भ को समझना आवश्यक होता है।
• भाषाई विविधता: अलग-अलग भाषाओं और बोलियों को संभालना।

इस पाठ में हमने:

• टोकनीकरण और सामान्यीकरण के बारे में सीखा।
• स्टेमिंग, लेमेटाइज़ेशन और रोक-शब्दों को हटाने जैसी तकनीकों का अध्ययन किया।
• पाइथन के साथ पाठ पूर्व-प्रसंस्करण का अभ्यास किया।

इसके बाद, हम एन-ग्राम मॉडलों का उपयोग करके पाठ के पैटर्न का विश्लेषण करेंगे।