NLP Academy · पाठ

मल्टी-हेड Attention और स्थितियाँ

कई दृष्टिकोण और क्रम की समझ

पाठ 3, कुल 4 में से13 चरण

मल्टी-हेड Attention और स्थितियाँ, CoddyKit पर NLP Academy का एक निःशुल्क पाठ है। यह 4 में से 3वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह NLP Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

एक शीर्ष सीमित होता है

एकल ध्यान शीर्ष एक समय में केवल एक प्रकार के संबंध को ट्रैक कर सकता है। वास्तविक भाषा में एक साथ कई पैटर्न पहचानने की आवश्यकता होती है। 🧠

कई शीर्ष, कई दृष्टिकोण

बहु-शीर्ष ध्यान कई ध्यान-गणनाएँ समानांतर रूप से चलाता है; प्रत्येक के अपने सीखे हुए प्रक्षेपण और अपना केंद्र होता है।

प्रत्येक शीर्ष क्या सीखता है

एक शीर्ष कर्ता-क्रिया संबंधों को ट्रैक कर सकता है, जबकि दूसरा सर्वनामों का अनुसरण कर सकता है। साथ मिलकर वे वाक्य की कहीं अधिक समृद्ध तस्वीर बनाते हैं।

आयामों को बाँटना

मॉडल अपने सदिश-आकार को शीर्षों के बीच बाँट देता है, इसलिए प्रत्येक शीर्ष एक छोटे उप-स्थान में काम करता है। कुल गणना लगभग उतनी ही रहती है।

d_head = d_model // num_heads

शीर्षों को मिलाना

प्रत्येक शीर्ष के आउटपुट देने के बाद, आप उन्हें जोड़ते हैं और दृष्टिकोणों को मिलाने के लिए परिणाम को एक और रैखिक परत से गुजारते हैं।

out = concat(head_1, head_2, ...) @ W_o

ध्यान क्रम की अनदेखी करता है

स्व-ध्यान इनपुट को एक समुच्चय मानता है, इसलिए अकेले यह "dog bites man" और "man bites dog" में अंतर नहीं कर सकता। यह क्रम-अंधा होता है।

स्थिति की जानकारी जोड़ना

इसे ठीक करने के लिए, हम प्रत्येक शब्द में एक स्थितीय कूटन जोड़ते हैं, ताकि मॉडल जान सके कि प्रत्येक टोकन अनुक्रम में कहाँ स्थित है।

ज्या-तरंग कूटन

मूल ट्रांसफॉर्मर प्रत्येक स्थिति को एक विशिष्ट, सहज संकेत देने के लिए अलग-अलग आवृत्तियों वाली स्थिर ज्या और कोज्या तरंगों का उपयोग करता है।

pe[pos, 2i] = sin(pos / 10000 ** (2*i/d))

जोड़ा जाता है, अंत में नहीं लगाया जाता

स्थिति-सदिशों को शब्द के एम्बेडिंग में जोड़ा जाता है, अंत में चिपकाया नहीं जाता। इसलिए प्रत्येक टोकन में अर्थ और स्थान दोनों साथ रहते हैं।

x = token_embeddings + positional_encoding

सीखी हुई स्थितियाँ भी

लचीलेपन के लिए कई आधुनिक मॉडल स्थिर तरंगों की जगह सीखे हुए स्थिति-एम्बेडिंग का उपयोग करते हैं, जिन्हें बाकी सभी चीज़ों के साथ प्रशिक्षित किया जाता है।

दोनों क्यों महत्वपूर्ण हैं

बहु-शीर्ष ध्यान अनेक संबंधों को देखता है; स्थितीय कूटन क्रम को वापस लाता है। साथ मिलकर वे ट्रांसफॉर्मर को अनुक्रमों को वास्तव में समझने देते हैं। ✨

त्वरित जाँच

आइए, स्थितियों और शीर्षों की जाँच करें।

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावृत्ति

आपने देखा कि बहु-शीर्ष ध्यान समानांतर रूप से अनेक संबंधों को पकड़ता है, जबकि स्थितीय कूटन मॉडल को क्रम का बोध कराता है। 🎯

शुरुआत निःशुल्क

एआई शिक्षक के साथ Python सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 30
पाठ: 120

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “मल्टी-हेड Attention और स्थितियाँ” पाठ निःशुल्क है?

हाँ — NLP Academy अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “मल्टी-हेड Attention और स्थितियाँ” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। NLP Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“मल्टी-हेड Attention और स्थितियाँ” में मैं क्या सीखूँगा?

कई दृष्टिकोण और क्रम की समझ आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ NLP Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या NLP Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर NLP Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 3वाँ पाठ है।

“मल्टी-हेड Attention और स्थितियाँ” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस NLP Academy पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर NLP Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← NLP Academy पर वापस जाएँ