Algoritma Rambatan Balik

Algoritma Perambatan Balik

Perambatan balik ialah algoritma utama yang digunakan untuk melatih rangkaian neural. Algoritma ini mengira kecerunan fungsi kehilangan berkenaan dengan setiap pemberat dengan merambatkan ralat ke belakang melalui rangkaian.

Proses perambatan balik melibatkan:

1. Laluan Hadapan: Kira keluaran dan kehilangan.
2. Laluan Balik: Kira kecerunan fungsi kehilangan berkenaan dengan pemberat dan bias.
3. Kemas Kini Pemberat: Laraskan pemberat menggunakan algoritma pengoptimuman seperti penurunan kecerunan.

Fungsi kehilangan mengukur perbezaan antara nilai yang diramalkan dengan nilai sebenar. Fungsi kehilangan yang biasa termasuk:

• Ralat Kuasa Dua Min (MSE): Untuk tugasan regresi.
• Kehilangan Entropi Silang: Untuk tugasan pengelasan.

Penurunan kecerunan ialah algoritma pengoptimuman yang digunakan untuk meminimumkan fungsi kehilangan. Algoritma ini mengemas kini pemberat dan bias dengan mengambil langkah kecil ke arah kecerunan negatif.

Peraturan Kemas Kini:

Weight = Weight - Learning_Rate * Gradient

Peraturan rantaian digunakan untuk mengira kecerunan fungsi kehilangan bagi setiap lapisan. Peraturan ini membolehkan ralat dirambatkan ke belakang melalui rangkaian.

Contohnya, kecerunan kehilangan berkenaan dengan sesuatu pemberat ialah:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Pertimbangkan rangkaian neural ringkas dengan satu lapisan masukan, satu lapisan tersembunyi dan satu lapisan keluaran:

Dengan menggunakan laluan hadapan dan laluan balik, kita melaraskan pemberat untuk meminimumkan ralat merentasi beberapa epok.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Antara isu lazim termasuk:

• Kecerunan Lenyap: Kecerunan menjadi terlalu kecil, lalu memperlahankan pembelajaran.
• Kecerunan Meletup: Kecerunan menjadi terlalu besar, lalu menyebabkan ketidakstabilan.
• Minimum Setempat: Algoritma mungkin tersekat pada penyelesaian yang kurang optimum.

Untuk menangani cabaran, teknik moden termasuk:

• Fungsi Pengaktifan: ReLU membantu mengurangkan kecerunan yang lenyap.
• Pengoptimum: Algoritma seperti Adam dan RMSProp meningkatkan penumpuan.
• Regularisasi: Menghalang terlebih suai dengan mengenakan penalti pada pemberat yang besar.

Dalam pelajaran ini, kami:

• Meneliti algoritma perambatan balik dan peranannya dalam melatih rangkaian neural.
• Mempelajari penurunan kecerunan dan peraturan rantaian.
• Membincangkan cabaran dan penambahbaikan moden dalam perambatan balik.

Seterusnya, kami akan melaksanakan rangkaian neural pertama kami menggunakan TensorFlow untuk melihat perambatan balik beraksi.