Calendriers du taux d’apprentissage et échauffement
Stratégies par étapes, cosinusoïdales et d’échauffement.
Calendriers du taux d’apprentissage et échauffement est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Un taux qui évolue
Un taux d’apprentissage fixe est rarement idéal pendant toute l’exécution. Un calendrier le fait varier au fil du temps, généralement avec une valeur élevée au début et faible vers la fin.
Pourquoi la décroissance aide
De grands pas au début permettent de progresser rapidement. Réduire le taux ensuite permet au modèle de se stabiliser précisément dans un minimum au lieu d’osciller autour de celui-ci.
Décroissance par paliers
Le calendrier le plus simple est la décroissance par paliers : réduire le taux d’un facteur fixe après un nombre défini d’époques, par exemple le diviser par deux toutes les trente époques.
sched = torch.optim.lr_scheduler.StepLR(opt, step_size=30, gamma=0.5)Refroidissement cosinus
Les calendriers cosinus font descendre progressivement le taux le long d’une courbe régulière vers zéro. Cette décroissance douce et progressive est très appréciée pour l’apprentissage des réseaux modernes.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)Le problème du démarrage à froid
Les poids nouvellement initialisés sont fragiles. Un taux maximal dès la première étape peut faire exploser la perte, en particulier avec de grands lots ou des transformeurs profonds.
L’échauffement démarre progressivement
L’échauffement augmente progressivement le taux depuis une valeur proche de zéro pendant les premières centaines d’étapes. Ce démarrage doux stabilise l’apprentissage initial avant le passage à pleine vitesse.
Échauffement puis décroissance
La recette classique consiste à appliquer un échauffement suivi d’une décroissance : atteindre le taux maximal, puis suivre une courbe cosinus descendante. C’est la méthode de référence pour les grands modèles.
Faites avancer le planificateur
Un planificateur ne fait rien tant que vous n’appelez pas step() dessus, généralement une fois par époque, juste après que l’optimiseur a mis à jour les poids.
opt.step()
sched.step()Surveillez le taux actuel
Consignez le taux d’apprentissage réel pendant l’apprentissage. Le voir augmenter puis diminuer confirme que le calendrier s’applique au moment prévu et vous aide à déboguer.
print(sched.get_last_lr())Décroissance fondée sur un plateau
Vous préférez réagir aux résultats ? ReduceLROnPlateau réduit le taux uniquement lorsque la perte de validation cesse de s’améliorer, sans calendrier fixe.
sched = torch.optim.lr_scheduler.ReduceLROnPlateau(opt)Les calendriers offrent des gains gratuits
Un bon calendrier améliore souvent la précision finale sans données supplémentaires. L’échauffement suivi d’une décroissance cosinus constitue un excellent point de départ, à la fois performant et sûr.
Vérification rapide
Vérifiez à quoi sert l’échauffement.
Récapitulatif
Un calendrier réduit le taux d’apprentissage au fil du temps afin que le modèle se stabilise proprement, tandis que l’échauffement l’augmente d’abord pour assurer un démarrage stable. L’échauffement suivi d’une décroissance cosinus est un excellent choix par défaut. 📉
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « Calendriers du taux d’apprentissage et échauffement » est-elle gratuite ?
Oui — le texte complet de « Calendriers du taux d’apprentissage et échauffement » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Calendriers du taux d’apprentissage et échauffement » ?
Stratégies par étapes, cosinusoïdales et d’échauffement. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Calendriers du taux d’apprentissage et échauffement » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- SGD avec momentum
- Adam et AdamW expliqués
- Décroissance des poids ou régularisation L2
- Calendriers du taux d’apprentissage et échauffement