Fine-tuning: scongelamento e riaddestramento

Dopo che la feature extraction ha addestrato la testa, il fine-tuning consente di ottenere un'accuratezza ulteriore permettendo alla parte superiore della base pre-addestrata di adattarsi ai dati. Lo esegua solo quando la testa è stabile; in caso contrario, i gradienti elevati prodotti da una testa casuale possono danneggiare la base.

Imposti base.trainable = True per rendere nuovamente aggiornabili i pesi. Da solo, questo sblocca ogni layer, cosa che di solito è troppo aggressiva.

I layer iniziali contengono rilevatori generici di bordi e texture che è opportuno conservare. Blocchi nuovamente i primi N layer ed esegua il fine-tuning soltanto di quelli più profondi e specifici per il task.

Il fine-tuning richiede un learning rate piccolissimo, ad esempio 1e-5. I pesi pre-addestrati sono già validi; servono soltanto piccoli aggiustamenti. Un learning rate elevato causa il catastrophic forgetting, cancellando la conoscenza di ImageNet che si intende riutilizzare.

È necessario ricompilare dopo aver modificato i flag trainable, affinché Keras ricostruisca l'insieme dei pesi a cui applicare i gradienti. Imposti qui il learning rate basso.

1. Fase 1 (feature extraction): base bloccata, addestri la testa con un learning rate di circa 1e-3 finché l'accuratezza di validazione non raggiunge un plateau.
2. Fase 2 (fine-tuning): sblocchi i layer superiori, ricompili con un learning rate di circa 1e-5 e continui l'addestramento.

Separare il processo in questo modo stabilizza l'addestramento e protegge le feature pre-addestrate.

Riprenda l'addestramento dal punto in cui si è conclusa la fase 1 utilizzando initial_epoch, così che log e scheduler restino continui.

Uno scheduler riduce gradualmente il learning rate nel tempo, così gli aggiornamenti diventano più piccoli man mano che il modello converge. ReduceLROnPlateau lo riduce automaticamente quando la loss di validazione rimane invariata.

ResNet ed EfficientNet contengono layer BatchNormalization che tengono traccia delle statistiche correnti. Durante il fine-tuning, mantenere bloccati i layer BN, o in modalità inferenza, produce spesso risultati più stabili, perché aggiornare le loro statistiche su un dataset piccolo può ridurre l'accuratezza.

Il fine-tuning aggiunge molti parametri addestrabili, quindi aumenta il rischio di overfitting. Lo contrasti con la data augmentation, il dropout e EarlyStopping sulla loss di validazione.

Una procedura di fine-tuning robusta prevede di addestrare la head, sbloccare i layer superiori, congelare BN, ricompilare con un learning rate di 1e-5 e quindi addestrare con uno scheduler e l'early stopping. Confronti sempre l'accuratezza di validazione prima e dopo per verificare che il fine-tuning abbia effettivamente migliorato il modello.

Verifichi le Sue conoscenze sul fine-tuning.

Ha imparato a eseguire il fine-tuning impostando base.trainable=True, ricongelando i primi N layer, ricompilando con un learning rate molto basso (1e-5) ed eseguendo un processo in due fasi. Un learning rate scheduler e l'early stopping mantengono stabile il processo, mentre i layer BatchNorm richiedono particolare attenzione. Prossimo argomento: modelli leggeri per il deployment edge.