Self-Attention, चरण-दर-चरण

प्रश्न यह दर्शाता है कि कोई शब्द क्या खोज रहा है। इसे उस प्रश्न की तरह समझिए जो यह शब्द वाक्य के बाकी हिस्से के बारे में पूछता है।

प्रत्येक शब्द एक कुंजी भी देता है, जो बताती है कि उसमें क्या मौजूद है, और एक मान देता है जिसमें चुने जाने पर आगे भेजी जाने वाली वास्तविक जानकारी होती है।

किसी प्रश्न की तुलना प्रत्येक कुंजी से अदिश गुणनफल का उपयोग करके करें। बड़ा गुणनफल बताता है कि प्रश्न और कुंजी एक-दूसरे से मेल खाते हैं, इसलिए उस शब्द पर अधिक ध्यान दिया जाना चाहिए।

अंकों को कुंजी के आयाम के वर्गमूल से विभाजित करें। यह मापन संख्याओं को स्थिर रखता है, ताकि softmax अत्यधिक तीक्ष्ण न हो जाए।

मापे गए अंकों को softmax से गुजारकर ध्यान के ऐसे भार प्राप्त करें जो धनात्मक हों और वाक्य के सभी शब्दों पर मिलकर 1 हों।

प्रत्येक मान को उसके भार से गुणा करके सबको जोड़ दें। परिणाम एक नया सदिश होता है, जो सबसे प्रासंगिक शब्दों की जानकारी को मिलाता है।

सभी चरण मिलकर एक सुव्यवस्थित व्यंजक बनाते हैं: प्रश्नों, कुंजियों और मानों पर लागू मापित अदिश-गुणनफल ध्यान, जैसा कि ट्रांसफॉर्मर के शोध-पत्र में प्रस्तुत किया गया है।

इसे स्व-ध्यान इसलिए कहा जाता है क्योंकि प्रश्न, कुंजियाँ और मान सभी एक ही अनुक्रम से आते हैं, जिससे शब्द अपने पड़ोसी शब्दों पर ध्यान दे पाते हैं।

"it was tired" में, स्व-ध्यान पास के शब्दों को भार देकर it को सही संज्ञा से जोड़ता है और प्रत्येक टोकन को अधिक स्पष्ट संदर्भ देता है।

आपने स्व-ध्यान की पूरी प्रक्रिया देखी: शब्दों को प्रश्नों, कुंजियों और मानों में बदलना, अंक देना, मापन करना, softmax लगाना और फिर मानों को मिलाना। यही इसका इंजन है। ⚙️