Loss को उतरने वाले परिदृश्य की तरह समझें

आपके मॉडल की loss एक संख्या है जो बताती है कि उसके अनुमान कितने गलत हैं। छोटी हानि का अर्थ बेहतर अनुमान है। प्रशिक्षण का उद्देश्य इसे घटाना ही है। 📉

आपके भार बदलने पर वही डेटा अलग हानि देता है। किसी भार को बदलने से हानि बढ़ या घट जाती है। इसलिए हानि वास्तव में भारों का एक फ़ंक्शन है।

हर भार-व्यवस्था को पहाड़ी परिदृश्य में एक स्थान मानिए और उस स्थान की ऊँचाई को हानि मानिए। प्रशिक्षण का अर्थ नीचे की ओर चलकर कम ऊँचाई तक पहुँचना है।

इस परिदृश्य का सबसे निचला बिंदु न्यूनतम है: वह भार-व्यवस्था जहाँ आपका मॉडल सबसे अच्छे अनुमान लगाता है। आपका पूरा काम उस घाटी की तलहटी तक पहुँचना है।

एक ही भार होने पर परिदृश्य केवल 2D वक्र होता है। आप सचमुच भार के विरुद्ध हानि का आलेख बनाकर वह गहराई देख सकते हैं जहाँ हानि सबसे कम है।

दूसरा भार जोड़ने पर वक्र पहाड़ियों और घाटियों वाली 3D सतह बन जाता है। वास्तविक मॉडलों में लाखों भार होते हैं, इसलिए परिदृश्य लाखों आयामों में रहता है।

उच्च आयामों में आप पूरे परिदृश्य को एक साथ कभी नहीं देख सकते। आप केवल अपने पैरों के ठीक नीचे की ढलान महसूस करके उसी के अनुसार कदम बढ़ाते हैं।

तीखी ढलान का अर्थ है कि यहाँ हानि तेज़ी से बदलती है, इसलिए छोटा कदम भी बहुत मदद करता है। सपाट ज़मीन का अर्थ है कि आप घाटी या पठार के पास हैं और प्रगति धीमी हो रही है।

परिदृश्य में कई गड्ढे हो सकते हैं। स्थानीय न्यूनतम एक छोटी घाटी है जो आपको सबसे गहरी घाटी से ऊपर रोक देती है। फिर भी गहरे नेटवर्क आमतौर पर अच्छी तरह प्रशिक्षित हो जाते हैं।

पूरे प्रशिक्षण एल्गोरिदम को ग्रेडिएंट डिसेंट कहने का कारण यही है: आप इस हानि-परिदृश्य पर बार-बार नीचे की ओर कदम बढ़ाते हैं, जब तक कि तल के पास स्थिर न हो जाएँ।

हानि को भूभाग की तरह सोचने से प्रशिक्षण सहज लगता है: मैं कहाँ हूँ, नीचे की दिशा कौन-सी है और मुझे कितना बड़ा कदम उठाना चाहिए? बाकी हर विचार इसी चित्र पर आधारित है।

हानि आपके भारों पर निर्भर संख्या है, इसलिए यह पहाड़ियों और घाटियों वाला एक परिदृश्य बनाती है। प्रशिक्षण का अर्थ है मिलने वाली सबसे कम हानि की ओर नीचे चलना। 🏔️