ReLU и её варианты Leaky и GELU
Стандартная функция активации и современные варианты
«ReLU и её варианты Leaky и GELU» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Meet ReLU
The most popular activation is ReLU: it keeps positive values and turns every negative one into zero. Simple and fast. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseWhy It Caught On
ReLU is cheap to compute and its gradient is a clean 1 for positives. That keeps signals flowing and makes deep nets train quickly.
The Math
ReLU is just max(0, x). Positive inputs pass straight through; negatives flatten to zero. That single hinge is the whole trick.
The Dying ReLU Problem
If a neuron always outputs zero, its gradient is zero too, so it stops learning forever. We call this a dead neuron. 💀
Leaky ReLU to the Rescue
Leaky ReLU lets a tiny slope through for negatives instead of a hard zero. That small leak keeps dead neurons alive.
y = F.leaky_relu(x, negative_slope=0.01)Parametric ReLU
PReLU goes further: it learns the negative slope during training instead of fixing it. The network tunes the leak itself.
Meet GELU
GELU smooths the ReLU corner into a soft curve. It gates inputs by how likely they are to be useful, not with a hard cutoff.
y = F.gelu(x)Why Transformers Love GELU
Modern models like transformers favor GELU because its smooth shape gives gentler gradients. That often means steadier training. 🤖
SiLU and Friends
SiLU, also called Swish, multiplies the input by its own sigmoid. Like GELU, it is smooth and frequently edges out plain ReLU.
A Sensible Default
Start with ReLU for hidden layers; it is fast and reliable. Reach for Leaky ReLU or GELU only if you see dead neurons or want extra smoothness.
Use It as a Layer
You can drop these in as modules inside a model, not just as functions. That makes them easy to chain in nn.Sequential.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Quick Check
Think about a neuron that always lands in the negative zone.
Recap
ReLU is the fast default, but it can let neurons die. Leaky ReLU, PReLU, and GELU smooth or leak the negatives to keep learning healthy. 🌟
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «ReLU и её варианты Leaky и GELU» бесплатный?
Да — полный текст урока «ReLU и её варианты Leaky и GELU» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «ReLU и её варианты Leaky и GELU»?
Стандартная функция активации и современные варианты Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.
Сколько времени занимает урок «ReLU и её варианты Leaky и GELU»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Почему нелинейность раскрывает настоящую мощь
- ReLU и её варианты Leaky и GELU
- Sigmoid и Tanh: сжатие в диапазон
- Softmax для получения вероятностей