Algoritma Propagasi Balik

Fungsi kerugian mengukur perbezaan antara nilai ramalan dan nilai sebenar. Fungsi kerugian yang biasa termasuk:

• Ralat Kuasa Dua Min (MSE): Untuk tugas regresi.
• Kerugian Entropi Silang: Untuk tugas pengelasan.

Penurunan kecerunan ialah algoritma pengoptimuman yang digunakan untuk meminimumkan fungsi kerugian. Algoritma ini mengemas kini pemberat dan bias dengan mengambil langkah kecil ke arah kecerunan negatif.

Peraturan Pengemaskinian:

Weight = Weight - Learning_Rate * Gradient

Peraturan rantai digunakan untuk mengira kecerunan fungsi kehilangan bagi setiap lapisan. Peraturan ini membolehkan ralat disebarkan ke belakang melalui rangkaian.

Sebagai contoh, kecerunan kehilangan terhadap sesuatu pemberat ialah:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Pertimbangkan rangkaian neural ringkas dengan satu lapisan input, satu lapisan tersembunyi dan satu lapisan output:

Dengan menggunakan larian hadapan dan larian belakang, kami melaraskan pemberat untuk meminimumkan ralat sepanjang beberapa epok.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Isu lazim termasuk:

• Kecerunan yang Lenyap: Kecerunan menjadi terlalu kecil lalu melambatkan pembelajaran.
• Kecerunan yang Meletup: Kecerunan menjadi terlalu besar lalu menyebabkan ketidakstabilan.
• Minimum Setempat: Algoritma mungkin terperangkap dalam penyelesaian yang tidak optimum.

Untuk menangani cabaran ini, teknik moden termasuk:

• Fungsi Pengaktifan: ReLU membantu mengurangkan kecerunan yang lenyap.
• Pengoptimum: Algoritma seperti Adam dan RMSProp meningkatkan penumpuan.
• Regularisasi: Mencegah padanan berlebihan dengan mengenakan penalti pada pemberat yang besar.

Dalam pelajaran ini, kami:

• Meneroka algoritma perambatan balik dan peranannya dalam melatih rangkaian neural.
• Mempelajari penurunan kecerunan dan peraturan rantai.
• Membincangkan cabaran serta penambahbaikan moden dalam perambatan balik.

Seterusnya, kami akan melaksanakan rangkaian neural pertama kami menggunakan TensorFlow untuk melihat perambatan balik berfungsi.