Algoritmen for tilbakepropagering

Tapsfunksjonen kvantifiserer forskjellen mellom de predikerte og faktiske verdiene. Vanlige tapsfunksjoner omfatter:

• Gjennomsnittlig kvadratisk feil (MSE): For regresjonsoppgaver.
• Kryssentropitap: For klassifiseringsoppgaver.

Gradient descent er en optimaliseringsalgoritme som brukes til å minimere tapsfunksjonen. Den oppdaterer vekter og biaser ved å ta små steg i retning av den negative gradienten.

Oppdateringsregel:

Weight = Weight - Learning_Rate * Gradient

Kjerneregelen brukes til å beregne gradienten til tapsfunksjonen for hvert lag. Den gjør det mulig å tilbakepropagere feilen gjennom nettverket.

For eksempel er gradienten til en vekt med hensyn på:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Vurder et enkelt nevralt nettverk med ett inndatalag, ett skjult lag og ett utdatalag:

Ved å utføre framover- og bakoverpasseringer justerer vi vektene for å minimere feilen over flere epoker.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Vanlige problemer er:

• Forsvinnende gradienter: Gradientene blir for små, noe som reduserer læringshastigheten.
• Eksploderende gradienter: Gradientene blir for store, noe som fører til ustabilitet.
• Lokale minima: Algoritmen kan sette seg fast i løsninger som ikke er optimale.

For å håndtere utfordringene omfatter moderne teknikker:

• Aktiveringsfunksjoner: ReLU bidrar til å redusere problemet med forsvinnende gradienter.
• Optimerere: Algoritmer som Adam og RMSProp forbedrer konvergensen.
• Regularisering: Hindrer overtilpasning ved å straffe store vekter.

I denne leksjonen har vi:

• Utforsket algoritmen for tilbakepropagering og dens rolle i treningen av nevrale nettverk.
• Lært om gradient descent og kjerneregelen.
• Diskutert utfordringer og moderne forbedringer av tilbakepropagering.

Deretter skal vi implementere vårt første nevrale nettverk med TensorFlow for å se tilbakepropagering i praksis.