विश्लेषक, टोकनाइज़र और फ़िल्टर
पाठ विश्लेषण के घटकों—अक्षर फ़िल्टर, टोकनाइज़र और टोकन फ़िल्टर—का गहन अध्ययन करें और उनकी भूमिकाएँ समझें।
विश्लेषक, टोकनाइज़र और फ़िल्टर, CoddyKit पर इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ का एक निःशुल्क पाठ है। यह 4 में से 1वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
टेक्स्ट विश्लेषण से खोज की नई संभावनाएँ
जब आप खोज करते हैं, तो आप टाइपो या शब्दों के अलग-अलग रूप होने पर भी प्रासंगिक परिणामों की अपेक्षा करते हैं। यह कमाल टेक्स्ट विश्लेषण के माध्यम से होता है!
टेक्स्ट विश्लेषण वह प्रक्रिया है जिसके द्वारा Elasticsearch कच्चे टेक्स्ट को खोज के लिए उपयुक्त प्रारूप में संसाधित करता है। यह आपकी सामग्री को विभाजित और रूपांतरित करता है, ताकि उसे आसानी से खोजा जा सके और प्रासंगिकता बेहतर हो।
विश्लेषक: आपका टेक्स्ट संसाधक
टेक्स्ट विश्लेषण के केंद्र में विश्लेषक होता है। विश्लेषक को एक संपूर्ण पाइपलाइन की तरह समझें—चरणों की एक शृंखला, जो कच्चे टेक्स्ट को लेकर उसे अनुक्रमण और खोज के लिए तैयार करती है।
प्रत्येक विश्लेषक में अधिकतम तीन मुख्य घटक होते हैं:
- अक्षर फ़िल्टर: कच्चे टेक्स्ट को साफ़ करते हैं।
- टोकनाइज़र: टेक्स्ट को अलग-अलग 'टोकन' (शब्दों) में विभाजित करता है।
- टोकन फ़िल्टर: इन टोकन को बेहतर बनाते और संशोधित करते हैं।
अक्षर फ़िल्टर: टेक्स्ट को साफ़ करना
कैरेक्टर फ़िल्टर विश्लेषण पाइपलाइन का पहला चरण होते हैं। ये कच्चे टेक्स्ट स्ट्रिंग पर टोकन में विभाजित किए जाने से पहले काम करते हैं।
इनका काम टेक्स्ट को साफ़ करना या उसका रूपांतरण करना है। इनके सामान्य उपयोगों में शामिल हैं:
- HTML टैग हटाना (जैसे,
<b>hello</b>का रूपhelloहो जाता है)। - कैरेक्टर बदलना (जैसे,
&कोandमें बदलना)। - विशिष्ट कैरेक्टर को दूसरे कैरेक्टर से मैप करना।
कैरेक्टर फ़िल्टर डेमो: HTML हटाना
आइए, _analyze एपीआई का उपयोग करके देखें कि html_strip कैरेक्टर फ़िल्टर HTML टैग कैसे हटाता है। ध्यान दें कि इस चरण पर टेक्स्ट अभी भी एक ही स्ट्रिंग है।
POST _analyze
{
"char_filter": ["html_strip"],
"text": "<b>Hello</b> <i>world</i>!"
}टोकनाइज़र: शब्दों में विभाजन
कैरेक्टर फ़िल्टर के बाद टोकनाइज़र काम करता है। इसकी मुख्य भूमिका साफ़ किए गए टेक्स्ट को अलग-अलग ‘टोकन’ या शब्दों में विभाजित करना है। अंततः इन्हीं टोकन को इंडेक्स किया जाता है और खोजा जाता है।
अलग-अलग आवश्यकताओं के लिए विभिन्न टोकनाइज़र उपलब्ध हैं:
- स्टैंडर्ड टोकनाइज़र: डिफ़ॉल्ट टोकनाइज़र, अधिकांश भाषाओं के लिए अच्छा और विराम-चिह्नों को संभालने में सक्षम।
- व्हाइटस्पेस टोकनाइज़र: टेक्स्ट को केवल खाली स्थानों के आधार पर विभाजित करता है।
- कीवर्ड टोकनाइज़र: पूरे इनपुट को एक ही अपरिवर्तनीय टोकन मानता है (आईडी या विशिष्ट कोड के लिए उपयोगी)।
टोकनाइज़र डेमो: स्टैंडर्ड टोकनाइज़र
standard टोकनाइज़र का व्यापक रूप से उपयोग किया जाता है। यह टेक्स्ट को बुद्धिमानी से विभाजित करता है, अधिकांश विराम-चिह्न हटा देता है और डिफ़ॉल्ट रूप से शब्दों को लोअरकेस में बदल देता है (हालाँकि तकनीकी रूप से लोअरकेस करना एक टोकन फ़िल्टर है, जिसे अक्सर इसके साथ लागू किया जाता है)।
POST _analyze
{
"tokenizer": "standard",
"text": "Quick brown fox!"
}टोकन फ़िल्टर: टोकन को परिष्कृत करना
अंतिम चरण टोकन फ़िल्टर का होता है। ये फ़िल्टर टोकनाइज़र द्वारा बनाए गए टोकन को संशोधित करते हैं। ये टोकन जोड़, हटा या बदल सकते हैं, जिससे खोज की प्रासंगिकता पर महत्वपूर्ण प्रभाव पड़ता है।
टोकन फ़िल्टर के उदाहरण:
- लोअरकेस फ़िल्टर: सभी टोकन को लोअरकेस में बदलता है।
- स्टॉपवर्ड फ़िल्टर: सामान्य और कम अर्थपूर्ण शब्दों को हटाता है (जैसे, ‘the’, ‘is’, ‘a’)।
- समानार्थी फ़िल्टर: शब्दों को उनके समानार्थी शब्दों से बदलता है।
- स्टेमर फ़िल्टर: शब्दों को उनके मूल रूप में बदलता है (जैसे, ‘running’ को ‘run’ में)।
टोकन फ़िल्टर डेमो: लोअरकेस और स्टॉप
आइए देखें कि lowercase और stop फ़िल्टर कैसे काम करते हैं। पहले हम standard टोकनाइज़र का उपयोग करेंगे, फिर इन फ़िल्टर को लागू करेंगे।
POST _analyze
{
"tokenizer": "standard",
"filter": ["lowercase", "stop"],
"text": "The Quick brown fox is fast."
}पूरी विश्लेषण पाइपलाइन
सभी घटक क्रम से मिलकर इस प्रकार काम करते हैं:
- कच्चा टेक्स्ट विश्लेषक में प्रवेश करता है।
- यह कैरेक्टर फ़िल्टर से होकर गुजरता है (सफ़ाई)।
- आउटपुट टोकनाइज़र को भेजा जाता है (टोकन में विभाजन)।
- अंत में, टोकन को टोकन फ़िल्टर द्वारा संसाधित किया जाता है (परिष्करण)।
- परिणाम खोजे जा सकने वाले पदों का एक समूह होता है।
यह पाइपलाइन आपके खोज डेटा के लिए सुसंगत और प्रभावी टेक्स्ट प्रसंस्करण सुनिश्चित करती है।
अपनी समझ जाँचें
इस टेक्स्ट पर विचार करें: <p>Learn Elasticsearch</p>
यदि आप टेक्स्ट को शब्दों में विभाजित करने से पहले <p> और <b> HTML टैग हटाना चाहते हैं, तो विश्लेषक पाइपलाइन के किस घटक का उपयोग करेंगे?
पुनरावलोकन: विश्लेषण घटक
बहुत अच्छा! आपने Elasticsearch के टेक्स्ट विश्लेषण के आधारभूत घटकों को सफलतापूर्वक समझ लिया है:
- विश्लेषक: पूरी टेक्स्ट प्रसंस्करण पाइपलाइन।
- कैरेक्टर फ़िल्टर: कच्चे टेक्स्ट को पहले से संसाधित करते हैं (जैसे, HTML हटाना और कैरेक्टर बदलना)।
- टोकनाइज़र: टेक्स्ट को अलग-अलग टोकन (शब्दों) में विभाजित करते हैं।
- टोकन फ़िल्टर: टोकन को परिष्कृत और संशोधित करते हैं (जैसे, लोअरकेस करना, स्टॉप शब्द हटाना और स्टेम करना)।
शक्तिशाली और प्रासंगिक खोज अनुभव बनाने के लिए इन घटकों को समझना अत्यंत महत्वपूर्ण है!
एआई शिक्षक के साथ इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 12
- पाठ
- 48
अक्सर पूछे जाने वाले प्रश्न
क्या “विश्लेषक, टोकनाइज़र और फ़िल्टर” पाठ निःशुल्क है?
हाँ — इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “विश्लेषक, टोकनाइज़र और फ़िल्टर” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“विश्लेषक, टोकनाइज़र और फ़िल्टर” में मैं क्या सीखूँगा?
पाठ विश्लेषण के घटकों—अक्षर फ़िल्टर, टोकनाइज़र और टोकन फ़िल्टर—का गहन अध्ययन करें और उनकी भूमिकाएँ समझें। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 1वाँ पाठ है।
“विश्लेषक, टोकनाइज़र और फ़िल्टर” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर इलास्टिकसर्च और पूर्ण-पाठ खोज प्रणालियाँ पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- विश्लेषक, टोकनाइज़र और फ़िल्टर
- पाठ विश्लेषकों का अनुकूलन
- प्रासंगिकता स्कोर बढ़ाना
- पर्यायवाची और स्टेमिंग