सक्रियण फ़ंक्शन

सक्रियण फ़ंक्शन

सक्रियण फ़ंक्शन न्यूरल नेटवर्क का एक महत्वपूर्ण हिस्सा होते हैं। वे प्राप्त इनपुट के आधार पर यह निर्धारित करते हैं कि किसी न्यूरॉन को सक्रिय किया जाना चाहिए या नहीं।

सक्रियण फ़ंक्शन के बिना, न्यूरल नेटवर्क एक रैखिक मॉडल की तरह व्यवहार करेगा, जिससे जटिल पैटर्न सीखने की उसकी क्षमता सीमित हो जाएगी।

सक्रियण फ़ंक्शन के सामान्य प्रकारों में शामिल हैं:

• सिग्मॉइड: 0 और 1 के बीच के मान आउटपुट करता है।
• ReLU (रेक्टिफ़ाइड लीनियर यूनिट): यदि इनपुट धनात्मक हो, तो उसे आउटपुट करता है; अन्यथा 0 आउटपुट करता है।
• सॉफ्टमैक्स: वर्गीकरण कार्यों के लिए आउटपुट को प्रायिकताओं में बदलता है।

सिग्मॉइड फ़ंक्शन किसी भी इनपुट मान को 0 और 1 के बीच की सीमा में बदलता है, इसलिए यह द्विआधारी वर्गीकरण के लिए उपयुक्त है।

सूत्र:

σ(x) = 1 / (1 + e^(-x))

यह बड़े इनपुट को संकुचित करके 0 या 1 के निकट मान आउटपुट करता है।

ReLU (रेक्टिफ़ाइड लीनियर यूनिट) फ़ंक्शन इस प्रकार परिभाषित होता है:

ReLU(x) = max(0, x)

यह ऋणात्मक इनपुट के लिए 0 और धनात्मक इनपुट के लिए स्वयं इनपुट मान आउटपुट करता है। ReLU गणनात्मक रूप से दक्ष है और विलुप्त होते ग्रेडिएंट की समस्या को कम करने में सहायता करता है।

सॉफ्टमैक्स फ़ंक्शन का उपयोग बहु-वर्गीय वर्गीकरण के लिए आउटपुट परत में किया जाता है। यह कच्चे स्कोर को प्रायिकताओं में बदलता है:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

सभी आउटपुट मानों को इस तरह सामान्यीकृत किया जाता है कि उनका योग 1 हो।

सक्रियण फ़ंक्शन का चुनाव कार्य पर निर्भर करता है:

• सिग्मॉइड: द्विआधारी वर्गीकरण के लिए।
• ReLU: गहरे नेटवर्क की छिपी परतों के लिए।
• सॉफ्टमैक्स: बहु-वर्गीय वर्गीकरण की समस्याओं के लिए।

सक्रियण फ़ंक्शन न्यूरल नेटवर्क को ये कार्य करने में सक्षम बनाते हैं:

• जटिल, अरेखीय पैटर्न सीखना।
• इनपुट के बीच प्रभावी ढंग से अंतर करना।
• विभिन्न प्रकार के डेटा और कार्यों के अनुसार अनुकूलित होना।

कुछ समस्याओं में शामिल हैं:

• सिग्मॉइड: प्रशिक्षण के दौरान ग्रेडिएंट के विलुप्त होने का कारण बन सकता है।
• ReLU: “निष्क्रिय न्यूरॉन” की स्थिति पैदा कर सकता है, जिसमें कुछ न्यूरॉन सीखना बंद कर देते हैं।
• सॉफ्टमैक्स: बड़े आउटपुट के लिए इसकी गणनात्मक लागत अधिक होती है।

इस पाठ में हमने:

• सिग्मॉइड, ReLU और सॉफ्टमैक्स जैसे सक्रियण फ़ंक्शन का अध्ययन किया।
• न्यूरल नेटवर्क में उनकी भूमिकाओं और उपयोग के तरीकों को समझा।
• उनके लाभों और चुनौतियों पर चर्चा की।

अगले पाठ में हम एक सरल फीडफ़ॉरवर्ड न्यूरल नेटवर्क बनाएँगे और उसकी संरचना तथा कार्यप्रणाली को समझेंगे।