Backpropagation-algoritmen

Tabsfunktionen kvantificerer forskellen mellem de forudsagte og faktiske værdier. Almindelige tabsfunktioner omfatter:

• Middelkvadratisk fejl (MSE): Til regressionsopgaver.
• Krydsentropitab: Til klassifikationsopgaver.

Gradientnedstigning er en optimeringsalgoritme, der bruges til at minimere tabsfunktionen. Den opdaterer vægte og forskydninger ved at tage små skridt i retning af den negative gradient.

Opdateringsregel:

Weight = Weight - Learning_Rate * Gradient

Kædereglen bruges til at beregne gradienten for tabsfunktionen i hvert lag. Den gør det muligt at føre fejlen baglæns gennem netværket.

Gradienten for en vægt med hensyn til tabet er for eksempel:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Forestil dig et simpelt neuralt netværk med ét inddatalag, ét skjult lag og ét uddatalag:

Ved hjælp af fremadgående og baglæns gennemløb justerer vi vægtene for at minimere fejlen over flere epoker.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Almindelige problemer omfatter:

• Forsvindende gradienter: Gradienterne bliver for små, hvilket sænker indlæringen.
• Eksploderende gradienter: Gradienterne bliver for store, hvilket skaber ustabilitet.
• Lokale minima: Algoritmen kan sidde fast i suboptimale løsninger.

Moderne teknikker til at håndtere udfordringerne omfatter:

• Aktiveringsfunktioner: ReLU hjælper med at begrænse forsvindende gradienter.
• Optimeringsalgoritmer: Algoritmer som Adam og RMSProp forbedrer konvergensen.
• Regularisering: Forhindrer overtilpasning ved at straffe store vægte.

I denne lektion har vi:

• undersøgt backpropagation-algoritmen og dens rolle i træningen af neurale netværk.
• lært om gradient descent og kædereglen.
• diskuteret udfordringer ved og moderne forbedringer af backpropagation.

Dernæst implementerer vi vores første neurale netværk med TensorFlow for at se backpropagation i praksis.