Algoritma Propagasi Mundur

Propagasi mundur adalah algoritma utama yang digunakan untuk melatih jaringan saraf. Algoritma ini menghitung gradien fungsi kerugian terhadap setiap bobot dengan merambatkan galat ke arah mundur melalui jaringan.

Langkah-Langkah Utama dalam Propagasi Balik

Proses propagasi balik mencakup:

1. Lintasan Maju: Hitung keluaran dan kerugian.
2. Lintasan Mundur: Hitung gradien fungsi kerugian terhadap bobot dan bias.
3. Pembaruan Bobot: Sesuaikan bobot menggunakan algoritme pengoptimalan seperti penurunan gradien.

Fungsi Kerugian

Fungsi kerugian mengukur perbedaan antara nilai prediksi dan nilai sebenarnya. Fungsi kerugian yang umum meliputi:

• Galat Kuadrat Rata-Rata (MSE): Untuk tugas regresi.
• Kerugian Entropi Silang: Untuk tugas klasifikasi.

Penurunan Gradien

Penurunan gradien adalah algoritme pengoptimalan yang digunakan untuk meminimalkan fungsi kerugian. Algoritme ini memperbarui bobot dan bias dengan mengambil langkah-langkah kecil ke arah gradien negatif.

Aturan Pembaruan:

Weight = Weight - Learning_Rate * Gradient

Aturan Rantai dalam Propagasi Balik

Aturan rantai digunakan untuk menghitung gradien fungsi kerugian pada setiap lapisan. Aturan ini memungkinkan kesalahan disebarkan mundur melalui jaringan.

Sebagai contoh, gradien kerugian terhadap suatu bobot adalah:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Contoh Propagasi Balik

Perhatikan jaringan saraf sederhana dengan satu lapisan masukan, satu lapisan tersembunyi, dan satu lapisan keluaran:

Dengan menggunakan lintasan maju dan mundur, kami menyesuaikan bobot untuk meminimalkan kesalahan selama beberapa putaran pelatihan.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Tantangan dalam Propagasi Balik

Masalah yang umum meliputi:

• Gradien yang Menghilang: Gradien menjadi terlalu kecil sehingga memperlambat pembelajaran.
• Gradien yang Meledak: Gradien menjadi terlalu besar sehingga menyebabkan ketidakstabilan.
• Minimum Lokal: Algoritme dapat terjebak dalam solusi yang kurang optimal.

Peningkatan dalam Propagasi Balik

Untuk mengatasi tantangan tersebut, teknik modern meliputi:

• Fungsi Aktivasi: ReLU membantu mengurangi gradien yang menghilang.
• Pengoptimal: Algoritme seperti Adam dan RMSProp meningkatkan konvergensi.
• Regularisasi: Mencegah model terlalu menyesuaikan data dengan memberikan penalti pada bobot yang besar.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kami:

• Menjelajahi algoritme propagasi balik dan perannya dalam melatih jaringan saraf.
• Mempelajari penurunan gradien dan aturan rantai.
• Membahas tantangan dan peningkatan modern dalam propagasi balik.

Selanjutnya, kami akan menerapkan jaringan saraf pertama menggunakan TensorFlow untuk melihat propagasi balik secara langsung.