बैकप्रोपेगेशन एल्गोरिदम

हानि फ़ंक्शन पूर्वानुमानित और वास्तविक मानों के बीच के अंतर को मापता है। सामान्य हानि फ़ंक्शन में ये शामिल हैं:

• माध्य वर्ग त्रुटि (MSE): प्रतिगमन कार्यों के लिए।
• क्रॉस-एंट्रॉपी हानि: वर्गीकरण कार्यों के लिए।

ग्रेडिएंट डिसेंट हानि फ़ंक्शन को न्यूनतम करने के लिए उपयोग किया जाने वाला अनुकूलन एल्गोरिदम है। यह ऋणात्मक प्रवणता की दिशा में छोटे-छोटे कदम उठाकर भार और बायस को अद्यतन करता है।

अद्यतन नियम:

Weight = Weight - Learning_Rate * Gradient

चेन रूल का उपयोग प्रत्येक परत के लिए हानि फलन का ग्रेडिएंट निकालने के लिए किया जाता है। इसके माध्यम से त्रुटि को नेटवर्क में पीछे की ओर प्रसारित किया जा सकता है।

उदाहरण के लिए, किसी वेट के संबंध में हानि का ग्रेडिएंट इस प्रकार है:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

एक सरल न्यूरल नेटवर्क पर विचार कीजिए, जिसमें एक इनपुट परत, एक छिपी हुई परत और एक आउटपुट परत है:

अग्रसरण और पश्चसरण के दौरान, हम कई प्रशिक्षण चक्रों में त्रुटि को न्यूनतम करने के लिए वेट को समायोजित करते हैं।

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

सामान्य समस्याओं में शामिल हैं:

• लुप्त होते ग्रेडिएंट: ग्रेडिएंट बहुत छोटे हो जाते हैं, जिससे सीखने की गति धीमी हो जाती है।
• विस्फोटक ग्रेडिएंट: ग्रेडिएंट बहुत बड़े हो जाते हैं, जिससे अस्थिरता पैदा होती है।
• स्थानीय न्यूनतम: एल्गोरिदम अपेक्षाकृत खराब समाधानों में अटक सकता है।

इन चुनौतियों से निपटने के लिए आधुनिक तकनीकों में शामिल हैं:

• सक्रियण फलन: ReLU लुप्त होते ग्रेडिएंट की समस्या को कम करने में सहायता करता है।
• अनुकूलक: Adam और RMSProp जैसे एल्गोरिदम अभिसरण में सुधार करते हैं।
• नियमितीकरण: बड़े वेट पर दंड लगाकर अति-अनुरूपण को रोकता है।

इस पाठ में हमने:

• बैकप्रोपेगेशन एल्गोरिदम और न्यूरल नेटवर्क के प्रशिक्षण में इसकी भूमिका को समझा।
• ग्रेडिएंट डिसेंट और चेन रूल के बारे में सीखा।
• बैकप्रोपेगेशन की चुनौतियों और आधुनिक सुधारों पर चर्चा की।

अगले चरण में, हम TensorFlow का उपयोग करके अपना पहला न्यूरल नेटवर्क बनाएँगे और बैकप्रोपेगेशन को काम करते हुए देखेंगे।