Aktiveringsfunksjoner

Sigmoid-funksjonen avbilder enhver inndataverdi til et område mellom 0 og 1, noe som gjør den egnet for binær klassifisering.

Formel:

σ(x) = 1 / (1 + e^(-x))

Den komprimerer store inndata og gir ut verdier nær 0 eller 1.

ReLU-funksjonen (Rectified Linear Unit) er definert slik:

ReLU(x) = max(0, x)

Den gir ut 0 for negative inndata og selve inndataverdien for positive inndata. ReLU er beregningsmessig effektiv og bidrar til å løse problemet med forsvinnende gradienter.

Softmax-funksjonen brukes i utdatalaget til klassifisering med flere klasser. Den konverterer råskårer til sannsynligheter:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Alle utgangsverdiene normaliseres slik at summen blir 1.

Valget av aktiveringsfunksjon avhenger av oppgaven:

• Sigmoid: For binær klassifisering.
• ReLU: For skjulte lag i dype nettverk.
• Softmax: For klassifiseringsproblemer med flere klasser.

Aktiveringsfunksjoner gjør at nevrale nettverk kan:

• Lære komplekse, ikke-lineære mønstre.
• Skille effektivt mellom inndata.
• Tilpasse seg ulike typer data og oppgaver.

Noen problemer omfatter:

• Sigmoid: Kan føre til forsvinnende gradienter under opplæring.
• ReLU: Kan føre til «døde nevroner», der enkelte nevroner slutter å lære.
• Softmax: Krever mye beregning ved store utdata.

I denne leksjonen har vi:

• Utforsket aktiveringsfunksjoner som Sigmoid, ReLU og Softmax.
• Lært om rollene deres og bruksområdene i nevrale nettverk.
• Sett på fordelene og utfordringene deres.

Deretter skal vi bygge et enkelt feedforward-nevralt nettverk og forstå strukturen og virkemåten.