ReLU en zijn lekkende en GELU-varianten
De standaardactivatiefunctie en moderne varianten.
ReLU en zijn lekkende en GELU-varianten is een gratis Deep Learning Academy-les op CoddyKit. Dit is les 2 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject Deep Learning Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Maak kennis met ReLU
De populairste activering is ReLU: die behoudt positieve waarden en zet elke negatieve waarde om in nul. Eenvoudig en snel. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseWaarom het aansloeg
ReLU is goedkoop te berekenen en de gradiënt is voor positieve waarden een duidelijke 1. Daardoor blijven signalen doorstromen en trainen diepe netwerken snel.
De wiskunde
ReLU is gewoon max(0, x). Positieve inputs gaan er rechtstreeks doorheen; negatieve inputs worden nul. Die ene knik is de hele truc.
Het probleem van de stervende ReLU
Als een neuron altijd nul uitvoert, is zijn gradiënt ook nul en stopt het voorgoed met leren. We noemen dit een dood neuron. 💀
Leaky ReLU schiet te hulp
Leaky ReLU laat voor negatieve waarden een kleine helling door in plaats van een harde nul. Die kleine lekkage houdt dode neuronen in leven.
y = F.leaky_relu(x, negative_slope=0.01)Parametrische ReLU
PReLU gaat verder: de functie leert de negatieve helling tijdens de training in plaats van die vast te zetten. Het netwerk stemt de lekkage zelf af.
Maak kennis met GELU
GELU maakt van de hoek van ReLU een zachte kromme. De functie regelt inputs op basis van hoe waarschijnlijk ze nuttig zijn, niet met een harde afkapwaarde.
y = F.gelu(x)Waarom transformers van GELU houden
Moderne modellen zoals transformers geven de voorkeur aan GELU omdat de zachte vorm mildere gradiënten oplevert. Dat betekent vaak een stabielere training. 🤖
SiLU en soortgelijke functies
SiLU, ook wel Swish genoemd, vermenigvuldigt de input met zijn eigen sigmoid. Net als GELU is deze functie zacht en vaak iets beter dan gewone ReLU.
Een verstandige standaard
Begin met ReLU voor verborgen lagen; die is snel en betrouwbaar. Kies alleen Leaky ReLU of GELU als je dode neuronen ziet of extra zachtheid wilt.
Gebruik het als laag
Je kunt deze functies als modules in een model plaatsen, niet alleen als functies. Daardoor kun je ze eenvoudig aan elkaar koppelen in nn.Sequential.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Korte controle
Denk aan een neuron dat altijd in het negatieve gebied terechtkomt.
Samenvatting
ReLU is de snelle standaard, maar neuronen kunnen daardoor afsterven. Leaky ReLU, PReLU en GELU verzachten of laten negatieve waarden door, zodat het leren gezond blijft. 🌟
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “ReLU en zijn lekkende en GELU-varianten” gratis?
Ja — de volledige tekst van “ReLU en zijn lekkende en GELU-varianten” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus Deep Learning Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Wat leer ik in “ReLU en zijn lekkende en GELU-varianten”?
De standaardactivatiefunctie en moderne varianten. Je oefent met Deep Learning Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met Deep Learning Academy te beginnen?
Ervaring vooraf is niet nodig. Deep Learning Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 2 van 4.
Hoe lang duurt de les “ReLU en zijn lekkende en GELU-varianten”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over Deep Learning Academy?
Ja. Elke les over Deep Learning Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Waarom niet-lineariteit echte kracht ontsluit
- ReLU en zijn lekkende en GELU-varianten
- Sigmoid en tanh: terugbrengen tot een bereik
- Softmax voor waarschijnlijkheden