Ajuster finement avec un taux d’apprentissage plus faible
Mettez doucement à jour les poids préentraînés.
Ajuster finement avec un taux d’apprentissage plus faible est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Au-delà de la tête
Geler la colonne vertébrale est rapide, mais vous pouvez parfois vouloir adapter l'ensemble du modèle. L'ajustement fin la dégèle et entraîne toutes les parties ensemble. 🔧
Dégeler la colonne vertébrale
Pour effectuer un ajustement fin, redéfinissez requires_grad sur True afin que les pondérations préentraînées puissent de nouveau évoluer pendant l'entraînement.
for p in model.parameters():
p.requires_grad = TrueLe danger d'un grand pas
Ces pondérations préentraînées sont déjà excellentes. Un taux d'apprentissage élevé les écraserait avec des mises à jour bruitées et détruirait ce qu'elles ont appris.
Avancer doucement
La solution consiste à utiliser un taux d'apprentissage plus faible. De petits pas rapprochent progressivement les pondérations préentraînées de votre tâche sans effacer leurs connaissances.
opt = torch.optim.Adam(model.parameters(), lr=1e-5)À quel point le réduire ?
Une règle empirique courante consiste à utiliser un taux d'apprentissage de dix à cent fois plus faible que celui utilisé pour un entraînement depuis zéro.
Commencer par échauffer la tête
Une astuce courante consiste à n'entraîner que la tête pendant quelques époques, puis à la dégeler et à effectuer l'ajustement fin. Cela évite un choc pour la colonne vertébrale au début.
Surveiller la perte de validation
L'ajustement fin peut rapidement provoquer un surapprentissage sur un petit jeu de données. Surveillez la perte de validation et arrêtez-vous dès qu'elle commence à augmenter.
Moins d'époques nécessaires
Comme le modèle comprend déjà les données, l'ajustement fin converge généralement en seulement quelques époques, et non en plusieurs dizaines.
L'associer à un planificateur
Un planificateur peut réduire encore le taux d'apprentissage au fil du temps, permettant au modèle de converger progressivement vers une bonne solution.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=5)Ajustement fin complet ou modèle gelé
L'ajustement fin complet nécessite davantage de données et de calcul, mais atteint une meilleure précision. L'entraînement avec un modèle gelé coûte moins cher. Le compromis dépend de la taille de votre jeu de données.
Conserver le meilleur point de contrôle
Puisque l'ajustement fin peut faire dériver le modèle, enregistrez celui-ci chaque fois que la précision de validation s'améliore, afin de ne jamais perdre votre meilleure version.
Vérification rapide
Vous avez dégelé un modèle préentraîné pour effectuer un ajustement fin. Quel taux d'apprentissage devez-vous utiliser ?
Récapitulatif
Vous avez dégelé la colonne vertébrale, effectué un ajustement fin avec un faible taux d'apprentissage, commencé par échauffer la tête et surveillé la validation pour arrêter le surapprentissage. 🎯
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « Ajuster finement avec un taux d’apprentissage plus faible » est-elle gratuite ?
Oui — le texte complet de « Ajuster finement avec un taux d’apprentissage plus faible » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Ajuster finement avec un taux d’apprentissage plus faible » ?
Mettez doucement à jour les poids préentraînés. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « Ajuster finement avec un taux d’apprentissage plus faible » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Geler le socle et entraîner la tête
- Ajuster finement avec un taux d’apprentissage plus faible
- Taux discriminants selon les couches
- Ajuster finement un modèle Hugging Face