Backpropagation-algoritme

De verliesfunctie kwantificeert het verschil tussen de voorspelde en werkelijke waarden. Veelvoorkomende verliesfuncties zijn:

• Gemiddelde kwadratische fout (MSE): Voor regressietaken.
• Kruisentropieverlies: Voor classificatietaken.

Gradiëntafdaling is een optimalisatiealgoritme dat wordt gebruikt om de verliesfunctie te minimaliseren. Het werkt gewichten en biases bij door kleine stappen te zetten in de richting van de negatieve gradiënt.

Bijwerkregel:

Weight = Weight - Learning_Rate * Gradient

De kettingregel wordt gebruikt om de gradiënt van de verliesfunctie voor elke laag te berekenen. Hiermee kan de fout achterwaarts door het netwerk worden voortgeplant.

De gradiënt van de verliesfunctie ten opzichte van een gewicht is bijvoorbeeld:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Stel je een eenvoudig neuraal netwerk voor met één invoerlaag, één verborgen laag en één uitvoerlaag:

Met voorwaartse en achterwaartse doorgangen passen we de gewichten aan om de fout over meerdere trainingsrondes te minimaliseren.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Veelvoorkomende problemen zijn:

• Verdwijnende gradiënten: Gradiënten worden te klein, waardoor het leren vertraagt.
• Exploderende gradiënten: Gradiënten worden te groot, waardoor instabiliteit ontstaat.
• Lokale minima: Het algoritme kan vast komen te zitten in suboptimale oplossingen.

Om deze uitdagingen aan te pakken, worden onder andere de volgende moderne technieken gebruikt:

• Activeringsfuncties: ReLU helpt verdwijnende gradiënten te beperken.
• Optimalisatie-algoritmen: Algoritmen zoals Adam en RMSProp verbeteren de convergentie.
• Regularisatie: Voorkomt overaanpassing door grote gewichten te bestraffen.

In deze les hebben we:

• Het algoritme voor terugpropagatie en de rol ervan bij het trainen van neurale netwerken verkend.
• Geleerd over gradiëntafdaling en de kettingregel.
• Uitdagingen en moderne verbeteringen bij terugpropagatie besproken.

Vervolgens implementeren we ons eerste neurale netwerk met TensorFlow om terugpropagatie in actie te zien.