ReLU und ihre Varianten Leaky ReLU und GELU
Die Standardaktivierungsfunktion und moderne Varianten.
ReLU und ihre Varianten Leaky ReLU und GELU ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 2 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Meet ReLU
The most popular activation is ReLU: it keeps positive values and turns every negative one into zero. Simple and fast. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseWhy It Caught On
ReLU is cheap to compute and its gradient is a clean 1 for positives. That keeps signals flowing and makes deep nets train quickly.
The Math
ReLU is just max(0, x). Positive inputs pass straight through; negatives flatten to zero. That single hinge is the whole trick.
The Dying ReLU Problem
If a neuron always outputs zero, its gradient is zero too, so it stops learning forever. We call this a dead neuron. 💀
Leaky ReLU to the Rescue
Leaky ReLU lets a tiny slope through for negatives instead of a hard zero. That small leak keeps dead neurons alive.
y = F.leaky_relu(x, negative_slope=0.01)Parametric ReLU
PReLU goes further: it learns the negative slope during training instead of fixing it. The network tunes the leak itself.
Meet GELU
GELU smooths the ReLU corner into a soft curve. It gates inputs by how likely they are to be useful, not with a hard cutoff.
y = F.gelu(x)Why Transformers Love GELU
Modern models like transformers favor GELU because its smooth shape gives gentler gradients. That often means steadier training. 🤖
SiLU and Friends
SiLU, also called Swish, multiplies the input by its own sigmoid. Like GELU, it is smooth and frequently edges out plain ReLU.
A Sensible Default
Start with ReLU for hidden layers; it is fast and reliable. Reach for Leaky ReLU or GELU only if you see dead neurons or want extra smoothness.
Use It as a Layer
You can drop these in as modules inside a model, not just as functions. That makes them easy to chain in nn.Sequential.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Quick Check
Think about a neuron that always lands in the negative zone.
Recap
ReLU is the fast default, but it can let neurons die. Leaky ReLU, PReLU, and GELU smooth or leak the negatives to keep learning healthy. 🌟
Häufig gestellte Fragen
Ist die Lektion „ReLU und ihre Varianten Leaky ReLU und GELU“ kostenlos?
Ja — der vollständige Text von „ReLU und ihre Varianten Leaky ReLU und GELU“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „ReLU und ihre Varianten Leaky ReLU und GELU“?
Die Standardaktivierungsfunktion und moderne Varianten. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 2 von 4.
Wie lange dauert die Lektion „ReLU und ihre Varianten Leaky ReLU und GELU“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Warum Nichtlinearität echte Leistungsfähigkeit freisetzt
- ReLU und ihre Varianten Leaky ReLU und GELU
- Sigmoid und Tanh: Auf einen Wertebereich begrenzen
- Softmax für Wahrscheinlichkeiten