N-ग्राम मॉडल

हम किसी पाठ से एन-ग्राम बनाने के लिए पाइथन का उपयोग कर सकते हैं:

from nltk import ngrams

# Example text
text = "I love natural language processing"

# Tokenize text
tokens = text.split()

# Generate bigrams
bigrams = list(ngrams(tokens, 2))
print("Bigrams:", bigrams)

# Generate trigrams
trigrams = list(ngrams(tokens, 3))
print("Trigrams:", trigrams)

N-ग्राम मॉडल का उपयोग इन कार्यों में किया जाता है:

• भाषा मॉडलिंग: किसी क्रम में अगले शब्द का पूर्वानुमान लगाना।
• टेक्स्ट निर्माण: सुसंगत वाक्य या अनुच्छेद बनाना।
• वर्तनी सुधार: संभावित शब्द क्रमों की पहचान करना।

टेक्स्ट में सामान्य पैटर्न की पहचान करने के लिए हम N-ग्राम की आवृत्ति का विश्लेषण कर सकते हैं:

from collections import Counter

# Example text
text = "I love NLP. NLP is amazing. I love learning NLP."

# Tokenize and generate bigrams
tokens = text.split()
bigrams = list(ngrams(tokens, 2))

# Count bigram frequency
bigram_freq = Counter(bigrams)
print("Bigram Frequencies:", bigram_freq.most_common())

N-ग्राम मॉडल के कई लाभ हैं:

• सरल हैं और इन्हें आसानी से लागू किया जा सकता है।
• टेक्स्ट पैटर्न के मूलभूत विश्लेषण के लिए उपयोगी हैं।
• अधिक उन्नत NLP मॉडलों के लिए आधार प्रदान करते हैं।

उपयोगी होने के बावजूद N-ग्राम मॉडल की कुछ सीमाएँ हैं:

• टेक्स्ट में दूर-दूर स्थित निर्भरताओं को समझने में कठिनाई होती है।
• N के बड़े मानों के लिए बहुत अधिक डेटा की आवश्यकता होती है।
• बड़े क्रमों के लिए ये दोहराव वाला या असंगत टेक्स्ट उत्पन्न कर सकते हैं।

N-ग्राम का उपयोग इन कार्यों में किया जाता है:

• स्वतः पूर्णता: सर्च इंजन में अगले शब्द का पूर्वानुमान लगाना।
• साहित्यिक चोरी का पता लगाना: एक-दूसरे से मिलते-जुलते शब्द पैटर्न की पहचान करना।
• वाक् पहचान: सामान्य शब्द क्रमों को पहचानना।

इस पाठ में हमने:

• N-ग्राम मॉडल और उनके प्रकारों का परिचय प्राप्त किया।
• Python में N-ग्राम बनाए और उनकी आवृत्तियों का विश्लेषण किया।
• N-ग्राम मॉडल के लाभों, सीमाओं और अनुप्रयोगों पर चर्चा की।

अगले चरण में, हम भावनात्मक विश्लेषण का अध्ययन करेंगे और जानेंगे कि टेक्स्ट डेटा की भावना का निर्धारण कैसे किया जाता है।