ReLU og de leaky- og GELU-beslektede funksjonene
Standardaktiveringen og moderne varianter
ReLU og de leaky- og GELU-beslektede funksjonene er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 2 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Møt ReLU
Den mest populære aktiveringen er ReLU: Den beholder positive verdier og gjør alle negative verdier til null. Enkelt og raskt. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseHvorfor den slo an
ReLU er billig å beregne, og gradienten er en ren 1-er for positive verdier. Det holder signalene i gang og gjør at dype nettverk trenes raskt.
Matematikken
ReLU er ganske enkelt max(0, x). Positive inndata går rett gjennom, mens negative verdier flates ut til null. Denne ene knekkingen er hele trikset.
Problemet med døende ReLU
Hvis et nevron alltid gir null som utdata, er gradienten også null, og det slutter å lære for alltid. Vi kaller dette et dødt nevron. 💀
Leaky ReLU til unnsetning
Leaky ReLU slipper gjennom en liten helning for negative verdier i stedet for et hardt nullpunkt. Denne lille lekkasjen holder døde nevroner i live.
y = F.leaky_relu(x, negative_slope=0.01)Parametrisk ReLU
PReLU går et skritt videre: Den lærer den negative helningen under treningen i stedet for å fastsette den. Nettverket justerer lekkasjen selv.
Møt GELU
GELU jevner ut ReLU-knekken til en myk kurve. Den slipper gjennom inndata basert på hvor sannsynlig det er at de er nyttige, ikke med en hard grense.
y = F.gelu(x)Hvorfor transformere liker GELU
Moderne modeller som transformere foretrekker GELU fordi den jevne formen gir mildere gradienter. Det betyr ofte mer stabil trening. 🤖
SiLU og venner
SiLU, også kalt Swish, multipliserer inndataen med sin egen sigmoid. I likhet med GELU er den jevn og gjør det ofte litt bedre enn vanlig ReLU.
Et fornuftig standardvalg
Start med ReLU for skjulte lag; den er rask og pålitelig. Velg Leaky ReLU eller GELU bare hvis De ser døde nevroner eller ønsker ekstra jevnhet.
Bruk den som et lag
De kan sette disse inn som moduler i en modell, ikke bare som funksjoner. Da blir de enkle å kjede sammen i nn.Sequential.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Kort kontroll
Tenk på et nevron som alltid havner i det negative området.
Oppsummering
ReLU er standardvalget når De vil ha fart, men nevroner kan dø. Leaky ReLU, PReLU og GELU jevner ut eller slipper gjennom negative verdier, slik at læringen forblir sunn. 🌟
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «ReLU og de leaky- og GELU-beslektede funksjonene» gratis?
Ja – hele teksten i «ReLU og de leaky- og GELU-beslektede funksjonene» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «ReLU og de leaky- og GELU-beslektede funksjonene»?
Standardaktiveringen og moderne varianter Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 2 av 4.
Hvor lang tid tar leksjonen «ReLU og de leaky- og GELU-beslektede funksjonene»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hvorfor ikke-linearitet åpner for reell kraft
- ReLU og de leaky- og GELU-beslektede funksjonene
- Sigmoid og tanh: Press verdier inn i et intervall
- Softmax for sannsynligheter