Algorytm propagacji wstecznej

Propagacja wsteczna to kluczowy algorytm używany do trenowania sieci neuronowych. Oblicza gradient funkcji straty względem każdej wagi, propagując błędy wstecz przez sieć.

Najważniejsze etapy propagacji wstecznej

Proces propagacji wstecznej obejmuje:

1. Przejście w przód: Obliczenie wyniku i funkcji straty.
2. Przejście wstecz: Obliczenie gradientu funkcji straty względem wag i obciążeń.
3. Aktualizacja wag: Dostosowanie wag za pomocą algorytmu optymalizacji, takiego jak spadek gradientu.

Funkcja straty

Funkcja straty określa różnicę między wartościami przewidywanymi a rzeczywistymi. Typowe funkcje straty to:

• Średni błąd kwadratowy (MSE): Do zadań regresji.
• Strata entropii krzyżowej: Do zadań klasyfikacyjnych.

Spadek gradientu

Spadek gradientu to algorytm optymalizacji używany do minimalizowania funkcji straty. Aktualizuje wagi i obciążenia, wykonując małe kroki w kierunku przeciwnym do gradientu.

Reguła aktualizacji:

Weight = Weight - Learning_Rate * Gradient

Reguła łańcuchowa w propagacji wstecznej

Reguła łańcuchowa służy do obliczania gradientu funkcji straty dla każdej warstwy. Umożliwia propagowanie błędu wstecz przez sieć.

Na przykład gradient funkcji straty względem wagi wynosi:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Przykład propagacji wstecznej

Rozważmy prostą sieć neuronową z jedną warstwą wejściową, jedną warstwą ukrytą i jedną warstwą wyjściową:

Korzystając z przebiegów w przód i wstecz, dostosowujemy wagi, aby zminimalizować błąd w wielu epokach.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Wyzwania związane z propagacją wsteczną

Typowe problemy to:

• Zanikanie gradientów: Gradienty stają się zbyt małe, co spowalnia uczenie.
• Eksplozja gradientów: Gradienty stają się zbyt duże, powodując niestabilność.
• Minima lokalne: Algorytm może utknąć w rozwiązaniach nieoptymalnych.

Ulepszenia propagacji wstecznej

Aby sprostać tym wyzwaniom, stosuje się między innymi następujące nowoczesne techniki:

• Funkcje aktywacji: ReLU pomaga ograniczyć problem zanikających gradientów.
• Optymalizatory: Algorytmy takie jak Adam i RMSProp poprawiają zbieżność.
• Regularyzacja: Zapobiega przeuczeniu, nakładając karę za duże wagi.

Podsumowanie i kolejne kroki

W tej lekcji:

• Przeanalizowaliśmy algorytm propagacji wstecznej i jego rolę w trenowaniu sieci neuronowych.
• Poznaliśmy metodę spadku gradientowego i regułę łańcuchową.
• Omówiliśmy wyzwania oraz nowoczesne usprawnienia propagacji wstecznej.

Następnie zaimplementujemy pierwszą sieć neuronową za pomocą TensorFlow, aby zobaczyć propagację wsteczną w działaniu.