ReLU et ses cousines Leaky et GELU
L’activation par défaut et ses variantes modernes.
ReLU et ses cousines Leaky et GELU est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Découvrez ReLU
L’activation la plus populaire est ReLU : elle conserve les valeurs positives et transforme toutes les valeurs négatives en zéro. Simple et rapide. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwisePourquoi elle s’est imposée
ReLU est peu coûteuse à calculer et son gradient vaut précisément 1 pour les valeurs positives. Les signaux continuent ainsi de circuler et les réseaux profonds s’entraînent rapidement.
Les mathématiques
ReLU est simplement max(0, x). Les entrées positives passent directement ; les valeurs négatives s’aplatissent à zéro. Cette seule charnière constitue toute l’astuce.
Le problème de ReLU qui meurt
Si un neurone renvoie toujours zéro, son gradient est lui aussi nul et il cesse d’apprendre pour toujours. On parle alors d’un neurone mort. 💀
Leaky ReLU à la rescousse
Leaky ReLU laisse passer une très faible pente pour les valeurs négatives au lieu d’imposer un zéro strict. Cette petite fuite maintient les neurones morts en vie.
y = F.leaky_relu(x, negative_slope=0.01)ReLU paramétrique
PReLU va plus loin : elle apprend la pente négative pendant l’entraînement au lieu de la fixer. Le réseau ajuste lui-même la fuite.
Découvrez GELU
GELU transforme l’angle de ReLU en une courbe douce. Elle filtre les entrées selon leur probabilité d’être utiles, plutôt qu’avec une coupure stricte.
y = F.gelu(x)Pourquoi les transformateurs aiment GELU
Les modèles modernes comme les transformateurs privilégient GELU, car sa forme douce produit des gradients moins brusques. L’entraînement est souvent plus stable. 🤖
SiLU et ses semblables
SiLU, également appelée Swish, multiplie l’entrée par sa propre sigmoïde. Comme GELU, elle est douce et dépasse souvent ReLU simple.
Un choix par défaut raisonnable
Commencez par ReLU pour les couches cachées : elle est rapide et fiable. Optez pour Leaky ReLU ou GELU uniquement si vous observez des neurones morts ou si vous souhaitez davantage de douceur.
L’utiliser comme couche
Vous pouvez intégrer ces fonctions comme des modules dans un modèle, et pas seulement comme des fonctions. Elles sont ainsi faciles à enchaîner dans nn.Sequential.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Vérification rapide
Réfléchissez à un neurone qui se trouve toujours dans la zone négative.
Récapitulatif
ReLU est le choix rapide par défaut, mais elle peut laisser mourir des neurones. Leaky ReLU, PReLU et GELU adoucissent les valeurs négatives ou leur laissent une fuite pour préserver un apprentissage sain. 🌟
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « ReLU et ses cousines Leaky et GELU » est-elle gratuite ?
Oui — le texte complet de « ReLU et ses cousines Leaky et GELU » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « ReLU et ses cousines Leaky et GELU » ?
L’activation par défaut et ses variantes modernes. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « ReLU et ses cousines Leaky et GELU » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Pourquoi la non-linéarité libère toute la puissance
- ReLU et ses cousines Leaky et GELU
- Sigmoid et Tanh : comprimer dans un intervalle
- Softmax pour les probabilités