Bloccare il backbone e addestrare la head
Riutilizzi le feature apprese a basso costo
Bloccare il backbone e addestrare la head è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Prendere in prestito un cervello intelligente
Perché addestrare da zero? Un modello già addestrato su milioni di immagini ha appreso caratteristiche utili. Il transfer learning riutilizza queste conoscenze per il Suo compito. 🧠
Backbone e testa
Un modello pretrained ha due componenti: il backbone, che estrae caratteristiche generali, e la testa, che produce la predizione finale per il compito originale.
Il piano
La ricetta più semplice: congelare il backbone, così rimane invariato, sostituire la testa con una nuova e addestrare solo quella parte sulle proprie etichette.
Caricare un modello pretrained
Cominci con un modello che dispone già di buoni pesi. torchvision offre architetture molto diffuse con una sola chiamata.
from torchvision import models
model = models.resnet18(weights='DEFAULT')Il congelamento significa niente gradienti
Per congelare un livello, imposti requires_grad su False. PyTorch evita così di calcolare i gradienti per quel livello, quindi i suoi pesi non cambiano mai.
for p in model.parameters():
p.requires_grad = FalsePerché congelare il modello?
Congelare il backbone preserva le caratteristiche apprese con tanta fatica e significa dover aggiornare molti meno pesi. L'addestramento diventa così più veloce e funziona anche con pochi dati.
Sostituire la testa
La vecchia testa predice le classi sbagliate. La sostituisca con un nuovo livello Linear dimensionato in base al numero di classi.
import torch.nn as nn
model.fc = nn.Linear(512, 3)La nuova testa è addestrabile
Un livello appena creato ha automaticamente requires_grad impostato su True. Quindi imparerà solo la testa, mentre il backbone congelato resterà invariato.
Ottimizzare solo la testa
Passi all'ottimizzatore solo i parametri della testa. Aggiornare soltanto questi pochi pesi è ciò che rende questo approccio così economico.
opt = torch.optim.Adam(model.fc.parameters(), lr=1e-3)Il backbone diventa un estrattore
Con i pesi congelati, il backbone trasforma semplicemente ogni immagine in un ricco vettore di caratteristiche. La testa impara a interpretare queste caratteristiche.
Quando dà il meglio
Congelare il backbone e addestrare la testa è ideale con un dataset piccolo o risorse di calcolo limitate. Può ottenere risultati eccellenti in pochi minuti invece che in giorni.
Verifica rapida
Ha congelato il backbone e sostituito la testa. Quali pesi vengono effettivamente aggiornati durante l'addestramento?
Riepilogo
Ha imparato a prendere in prestito un backbone pretrained, congelarlo, collegare una nuova testa e addestrare solo quest'ultima. Veloce, economico e ottimo con pochi dati. 🎯
Impara Python con un tutor IA — gratis
Scrivi ed esegui vero codice nel tuo browser, ricevi aiuto istantaneo da un tutor IA disponibile 24/7, e riprendi da dove hai lasciato sul web o nell'app.
- Corsi
- 30
- Lezioni
- 120
Domande Frequenti
La lezione «Bloccare il backbone e addestrare la head» è gratuita?
Sì — il testo completo di «Bloccare il backbone e addestrare la head» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Bloccare il backbone e addestrare la head»?
Riutilizzi le feature apprese a basso costo Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.
Quanto tempo richiede la lezione «Bloccare il backbone e addestrare la head»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Bloccare il backbone e addestrare la head
- Fine-tuning con un learning rate più basso
- Learning rate discriminativi per layer
- Fare il fine-tuning di un modello Hugging Face