Sequences को Memory की आवश्यकता क्यों होती है

किसी sequence में क्रम ही जानकारी होता है। 'dog bites man' और 'man bites dog' में वही टोकन हैं, लेकिन दोनों का अर्थ उलटा है। 🐶

टेक्स्ट, ऑडियो, शेयर बाज़ार की कीमतें और सेंसर रीडिंग सभी sequences हैं: क्रमबद्ध सूचियाँ, जिनमें हर चरण अपने आसपास के चरणों से संबंधित होता है।

एक मानक फीडफ़ॉरवर्ड नेटवर्क एक समय में एक निश्चित आकार के इनपुट को देखता है। उसे यह जानने का कोई तरीका नहीं होता कि पहले क्या आया था, इसलिए वह तुरंत अतीत को भूल जाता है।

वाक्य अलग-अलग लंबाई के होते हैं। निश्चित इनपुट वाला नेटवर्क 3 शब्दों वाले वाक्यांश और 30 शब्दों वाले वाक्यांश को समान भारों के साथ सहजता से संभाल नहीं सकता।

हमें ऐसे मॉडल की आवश्यकता है जो अब तक देखी गई चीज़ों की निरंतर स्मृति बनाए रखे और अनुक्रम के प्रत्येक चरण पर उस स्मृति को अद्यतन करे।

उस स्मृति को छिपी अवस्था कहा जाता है: यह एक सदिश है जिसे मॉडल आगे ले जाता है और जो पहले के चरणों की सभी महत्वपूर्ण बातों का सार प्रस्तुत करता है।

एक पुनरावर्ती मॉडल अनुक्रम को चरण-दर-चरण पढ़ता है और नए इनपुट को अपनी वर्तमान स्मृति के साथ मिलाकर अद्यतन स्मृति तैयार करता है।

भारों के उसी समूह का हर समय-चरण पर फिर से उपयोग किया जाता है। इससे मॉडल छोटा रहता है और वह किसी भी लंबाई के अनुक्रमों को संभाल सकता है।

स्मृति संदर्भ को पूर्वानुमानों को प्रभावित करने देती है। 'the clouds are in the ___' को पूरा करते समय मॉडल पहले आए शब्द 'clouds' पर निर्भर करता है।

कुछ संकेत ठीक पास में होते हैं, जबकि कुछ अनुक्रम में बहुत पीछे होते हैं। अच्छी स्मृति को छोटी और लंबी दूरी की दोनों निर्भरताओं को पकड़ना चाहिए।

लूप करती हुई छिपी अवस्था के आधार पर बनाए गए मॉडल को पुनरावर्ती नेटवर्क कहा जाता है। क्रमबद्ध डेटा से सीखने के लिए ये पारंपरिक समाधान हैं।

अनुक्रमों का अर्थ उनके क्रम में निहित होता है, जबकि साधारण नेटवर्क अतीत को भूल जाते हैं। समाधान ऐसा मॉडल है जिसमें स्मृति हो और जो उसे चरण-दर-चरण अद्यतन करे। ✅