सक्रियण फलन

सिग्मॉइड फ़ंक्शन किसी भी इनपुट मान को 0 और 1 के बीच की सीमा में बदल देता है, इसलिए यह द्विआधारी वर्गीकरण के लिए उपयुक्त है।

सूत्र:

σ(x) = 1 / (1 + e^(-x))

यह बड़े इनपुट को संकुचित करके 0 या 1 के निकट के मान उत्पन्न करता है।

ReLU (रेक्टिफ़ाइड लीनियर यूनिट) फ़ंक्शन इस प्रकार परिभाषित किया जाता है:

ReLU(x) = max(0, x)

यह ऋणात्मक इनपुट के लिए 0 और धनात्मक इनपुट के लिए स्वयं इनपुट मान आउटपुट करता है। ReLU की संगणना कुशल होती है और यह लुप्त होते प्रवणता की समस्या से निपटने में सहायता करता है।

बहु-वर्गीय वर्गीकरण के लिए आउटपुट परत में सॉफ्टमैक्स फ़ंक्शन का उपयोग किया जाता है। यह कच्चे स्कोर को संभावनाओं में बदल देता है:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

सभी आउटपुट मानों को इस तरह सामान्यीकृत किया जाता है कि उनका योग 1 हो जाए।

सक्रियण फ़ंक्शन का चुनाव कार्य पर निर्भर करता है:

• सिग्मॉइड: द्विआधारी वर्गीकरण के लिए।
• ReLU: गहरे नेटवर्क की छिपी हुई परतों के लिए।
• सॉफ्टमैक्स: बहु-वर्गीय वर्गीकरण समस्याओं के लिए।

सक्रियण फ़ंक्शन तंत्रिका नेटवर्क को इन कार्यों में सक्षम बनाते हैं:

• जटिल, गैर-रैखिक पैटर्न सीखना।
• इनपुट के बीच प्रभावी ढंग से अंतर करना।
• विभिन्न प्रकार के डेटा और कार्यों के अनुसार स्वयं को ढालना।

कुछ समस्याओं में ये शामिल हैं:

• सिग्मॉइड: प्रशिक्षण के दौरान प्रवणता के लुप्त होने का कारण बन सकता है।
• ReLU: 'मृत न्यूरॉन' उत्पन्न कर सकता है, जहाँ कुछ न्यूरॉन सीखना बंद कर देते हैं।
• सॉफ्टमैक्स: बड़े आउटपुट के लिए इसकी संगणना महँगी होती है।

इस पाठ में हमने:

• सिग्मॉइड, ReLU और सॉफ्टमैक्स जैसे सक्रियण फ़ंक्शन का अध्ययन किया।
• तंत्रिका नेटवर्क में उनकी भूमिकाओं और उपयोग के मामलों को समझा।
• उनके लाभों और चुनौतियों पर चर्चा की।

अगले पाठ में हम एक सरल फ़ीडफ़ॉरवर्ड तंत्रिका नेटवर्क बनाएँगे और उसकी संरचना तथा कार्यप्रणाली को समझेंगे।