बैकप्रोपेगेशन एल्गोरिदम

बैकप्रोपेगेशन एल्गोरिदम

बैकप्रोपेगेशन न्यूरल नेटवर्क के प्रशिक्षण में उपयोग किया जाने वाला एक महत्वपूर्ण एल्गोरिदम है। यह नेटवर्क में त्रुटियों को पीछे की ओर प्रवाहित करके प्रत्येक वेट के सापेक्ष हानि फ़ंक्शन के ग्रेडिएंट की गणना करता है।

बैकप्रोपेगेशन प्रक्रिया में ये चरण शामिल होते हैं:

1. अग्रगामी चरण: आउटपुट और हानि की गणना करें।
2. पश्चगामी चरण: वेट और बायस के सापेक्ष हानि फ़ंक्शन के ग्रेडिएंट की गणना करें।
3. वेट अद्यतन: ग्रेडिएंट डिसेंट जैसे अनुकूलन एल्गोरिदम का उपयोग करके वेट को समायोजित करें।

हानि फ़ंक्शन पूर्वानुमानित और वास्तविक मानों के बीच के अंतर को मापता है। सामान्य हानि फ़ंक्शन में शामिल हैं:

• माध्य वर्ग त्रुटि (MSE): प्रतिगमन कार्यों के लिए।
• क्रॉस-एंट्रॉपी हानि: वर्गीकरण कार्यों के लिए।

ग्रेडिएंट डिसेंट हानि फ़ंक्शन को न्यूनतम करने के लिए उपयोग किया जाने वाला एक अनुकूलन एल्गोरिदम है। यह ऋणात्मक ग्रेडिएंट की दिशा में छोटे कदम उठाकर वेट और बायस को अद्यतन करता है।

अद्यतन नियम:

Weight = Weight - Learning_Rate * Gradient

प्रत्येक परत के लिए हानि फ़ंक्शन के ग्रेडिएंट की गणना करने हेतु श्रृंखला नियम का उपयोग किया जाता है। यह त्रुटि को नेटवर्क में पीछे की ओर प्रवाहित करने की अनुमति देता है।

उदाहरण के लिए, किसी वेट के सापेक्ष हानि का ग्रेडिएंट इस प्रकार है:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

एक सरल न्यूरल नेटवर्क पर विचार करें, जिसमें एक इनपुट परत, एक छिपी परत और एक आउटपुट परत हो:

अनेक प्रशिक्षण चक्रों में त्रुटि को न्यूनतम करने के लिए हम अग्रगामी और पश्चगामी चरणों का उपयोग करके वेट को समायोजित करते हैं।

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

सामान्य समस्याओं में शामिल हैं:

• विलुप्त होते ग्रेडिएंट: ग्रेडिएंट बहुत छोटे हो जाते हैं, जिससे सीखने की गति धीमी पड़ जाती है।
• विस्फोटित ग्रेडिएंट: ग्रेडिएंट बहुत बड़े हो जाते हैं, जिससे अस्थिरता पैदा होती है।
• स्थानीय न्यूनतम: एल्गोरिदम कम-इष्टतम समाधानों में अटक सकता है।

चुनौतियों का समाधान करने के लिए आधुनिक तकनीकों में शामिल हैं:

• सक्रियण फ़ंक्शन: ReLU विलुप्त होते ग्रेडिएंट को कम करने में सहायता करता है।
• अनुकूलक: एडम और आरएमएसप्रॉप जैसे एल्गोरिदम अभिसरण को बेहतर बनाते हैं।
• नियमितीकरण: बड़े वेट पर दंड लगाकर ओवरफ़िटिंग को रोकता है।

इस पाठ में हमने:

• बैकप्रोपेगेशन एल्गोरिदम और न्यूरल नेटवर्क के प्रशिक्षण में उसकी भूमिका का अध्ययन किया।
• ग्रेडिएंट डिसेंट और श्रृंखला नियम के बारे में सीखा।
• बैकप्रोपेगेशन की चुनौतियों और आधुनिक सुधारों पर चर्चा की।

अगले पाठ में हम TensorFlow का उपयोग करके अपना पहला न्यूरल नेटवर्क लागू करेंगे और बैकप्रोपेगेशन को क्रियान्वित होते देखेंगे।