Algoritma Propagasi Balik

Propagasi balik adalah algoritma utama yang digunakan untuk melatih jaringan saraf. Algoritma ini menghitung gradien fungsi kerugian terhadap setiap bobot dengan menyebarkan galat secara mundur melalui jaringan.

Langkah-Langkah Utama dalam Propagasi Balik

Proses propagasi balik meliputi:

1. Lintasan Maju: Menghitung keluaran dan kerugian.
2. Lintasan Mundur: Menghitung gradien fungsi kerugian terhadap bobot dan bias.
3. Pembaruan Bobot: Menyesuaikan bobot menggunakan algoritma optimasi seperti penurunan gradien.

Fungsi Kerugian

Fungsi kerugian mengukur perbedaan antara nilai prediksi dan nilai sebenarnya. Fungsi kerugian yang umum meliputi:

• Galat Kuadrat Rata-Rata (MSE): Untuk tugas regresi.
• Kerugian Entropi Silang: Untuk tugas klasifikasi.

Penurunan Gradien

Penurunan gradien adalah algoritma optimasi yang digunakan untuk meminimalkan fungsi kerugian. Algoritma ini memperbarui bobot dan bias dengan mengambil langkah-langkah kecil ke arah gradien negatif.

Aturan Pembaruan:

Weight = Weight - Learning_Rate * Gradient

Aturan Rantai dalam Propagasi Balik

Aturan rantai digunakan untuk menghitung gradien fungsi kerugian pada setiap lapisan. Aturan ini memungkinkan galat disebarkan secara mundur melalui jaringan.

Sebagai contoh, gradien kerugian terhadap suatu bobot adalah:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Contoh Propagasi Balik

Perhatikan jaringan saraf sederhana dengan satu lapisan masukan, satu lapisan tersembunyi, dan satu lapisan keluaran:

Dengan menggunakan lintasan maju dan mundur, kita menyesuaikan bobot untuk meminimalkan galat selama beberapa epoch.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Tantangan dalam Propagasi Balik

Masalah yang umum meliputi:

• Gradien yang Menghilang: Gradien menjadi terlalu kecil sehingga memperlambat pembelajaran.
• Gradien yang Meledak: Gradien menjadi terlalu besar sehingga menyebabkan ketidakstabilan.
• Minimum Lokal: Algoritma dapat terjebak dalam solusi yang tidak optimal.

Peningkatan pada Propagasi Balik

Untuk mengatasi berbagai tantangan, teknik modern meliputi:

• Fungsi Aktivasi: ReLU membantu mengurangi gradien yang menghilang.
• Pengoptimal: Algoritma seperti Adam dan RMSProp meningkatkan konvergensi.
• Regularisasi: Mencegah penyesuaian berlebihan dengan memberikan penalti pada bobot yang besar.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mengeksplorasi algoritma propagasi balik dan perannya dalam melatih jaringan saraf.
• Mempelajari penurunan gradien dan aturan rantai.
• Membahas tantangan dan peningkatan modern dalam propagasi balik.

Selanjutnya, kita akan mengimplementasikan jaringan saraf pertama menggunakan TensorFlow untuk melihat propagasi balik secara langsung.