Backpropageringsalgoritmen

Förlustfunktionen kvantifierar skillnaden mellan de förutsagda och faktiska värdena. Vanliga förlustfunktioner är:

• Mean Squared Error (MSE): För regressionsuppgifter.
• Cross-Entropy Loss: För klassificeringsuppgifter.

Gradient descent är en optimeringsalgoritm som används för att minimera förlustfunktionen. Den uppdaterar vikter och biasvärden genom att ta små steg i riktning mot den negativa gradienten.

Uppdateringsregel:

Weight = Weight - Learning_Rate * Gradient

Kedjeregeln används för att beräkna gradienten för förlustfunktionen i varje lager. Den gör det möjligt att propagatera felet bakåt genom nätverket.

Exempelvis är gradienten för förlusten med avseende på en vikt:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Betrakta ett enkelt neuralt nätverk med ett indatalager, ett dolt lager och ett utlager:

Med hjälp av framåt- och bakåtpasseringar justerar vi vikterna för att minimera felet över flera epoker.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Vanliga problem är:

• Försvinnande gradienter: Gradienterna blir för små, vilket gör inlärningen långsammare.
• Exploderande gradienter: Gradienterna blir för stora, vilket orsakar instabilitet.
• Lokala minima: Algoritmen kan fastna i lösningar som inte är optimala.

För att hantera dessa utmaningar används bland annat följande moderna tekniker:

• Aktiveringsfunktioner: ReLU bidrar till att minska problemet med försvinnande gradienter.
• Optimerare: Algoritmer som Adam och RMSProp förbättrar konvergensen.
• Regularisering: Förhindrar överanpassning genom att straffa stora vikter.

I den här lektionen:

• Gick vi igenom backpropagation-algoritmen och dess roll i träningen av neurala nätverk.
• Lärde vi oss om gradientnedstigning och kedjeregeln.
• Diskuterade vi utmaningar och moderna förbättringar av backpropagation.

Härnäst implementerar vi vårt första neurala nätverk med TensorFlow för att se backpropagation i praktiken.