Fine-tuning: scongelamento e learning rate ridotti

L'estrazione delle feature adatta solo la head di classificazione, lasciando congelato il backbone. Il fine-tuning si spinge oltre aggiornando anche alcuni o tutti i livelli del backbone, permettendo al modello di adattare le proprie rappresentazioni alla distribuzione specifica dei dati.

Il fine-tuning è particolarmente vantaggioso quando il dominio differisce da ImageNet, ad esempio nel caso di immagini satellitari, scansioni mediche o fotografie di difetti industriali. Le feature di ImageNet vengono trasferite solo in parte, ma adattarle produce un'accuratezza sensibilmente maggiore. Il rischio è il dimenticamento catastrofico: se si esegue il fine-tuning con un learning rate elevato, i nuovi dati sovrascrivono le feature apprese con cura, causando un crollo delle prestazioni.

La procedura standard di fine-tuning prevede due fasi. Fase 1: congeli completamente il backbone e addestri solo la nuova head di classificazione per diverse epoche, finché non converge. In questo modo la head parte da uno stato ragionevole prima che intervengano i gradienti del backbone.

Fase 2: scongeli tutti o alcuni livelli del backbone e continui l'addestramento con un learning rate molto basso (in genere da 10 a 100 volte inferiore rispetto alla fase 1). In questo modo adatti gradualmente le feature apprese al proprio dominio senza distruggerle. Saltare la fase 1 e iniziare subito il fine-tuning con un LR elevato è l'errore più comune e porta a risultati scadenti.

Anziché scongelare tutto il backbone in una volta, può scongelarlo livello per livello, iniziando dall'alto, cioè dalla parte più vicina all'output. Questo perché i livelli successivi contengono le feature più specifiche per l'attività, mentre quelli iniziali apprendono feature universali (bordi e texture) che raramente devono essere aggiornate.

Per ResNet-50, l'ordine tipico dello scongelamento selettivo è: (1) fc (già addestrabile), (2) layer4, (3) layer3 e infine (4) layer1 e layer2, se necessario. A ogni passaggio deve valutare se lo scongelamento aggiuntivo migliora l'accuratezza di validazione, poiché un numero maggiore di parametri addestrabili aumenta il rischio di overfitting sui dataset piccoli.

I learning rate differenziali assegnano learning rate diversi alle varie parti della rete. La nuova head viene addestrata con il rate più alto (1e-3), i livelli del backbone scongelati di recente con un rate intermedio (1e-4) e i livelli iniziali del backbone con il rate più basso (1e-5), oppure vengono lasciati completamente congelati.

L'ottimizzatore di PyTorch accetta un elenco di gruppi di parametri, ciascuno con il proprio lr. Questa è la tecnica standard nella letteratura sul transfer learning ed è usata nei learning rate discriminativi di fast.ai. L'idea è che le parti della rete con feature più generiche richiedano meno modifiche rispetto ai livelli specifici per l'attività.

Il dimenticamento catastrofico si verifica quando il fine-tuning con un learning rate elevato sovrascrive le feature apprese in precedenza, facendo scendere l'accuratezza di validazione al di sotto persino del valore di riferimento ottenuto con l'estrazione delle feature. Lo si nota come un forte picco nella loss di training all'inizio della fase 2, seguito da un recupero lento.

Per prevenirlo: (1) inizi sempre la fase 2 con un learning rate molto basso, (2) monitori l'accuratezza di validazione a ogni epoca e si fermi immediatamente se scende al di sotto del valore migliore della fase 1, (3) usi uno scheduler del learning rate che aumenti gradualmente il LR del backbone e (4) salvi il checkpoint del modello migliore durante la fase 1, così da poterlo ripristinare se la fase 2 non dà buoni risultati.

Un learning rate fisso è raramente ottimale per tutta la durata del fine-tuning. Gli scheduler del learning rate regolano il LR durante l'addestramento per migliorare la convergenza. Per il fine-tuning, due scheduler funzionano particolarmente bene: CosineAnnealingLR riduce gradualmente il LR dal valore iniziale fino a quasi zero seguendo una curva cosinusoidale, mentre ReduceLROnPlateau riduce il LR ogni volta che la metrica di validazione smette di migliorare.

ReduceLROnPlateau con patience=2 è un'impostazione predefinita sicura: se la loss di validazione non migliora per 2 epoche consecutive, il LR viene moltiplicato per factor=0.1. Questo permette spesso di riprendere i progressi quando l'addestramento si stabilizza.

Il fine-tuning con una dimensione del batch maggiore riduce il rumore dei gradienti, un aspetto vantaggioso quando si apportano piccole modifiche alle feature apprese in precedenza. Tuttavia, batch molto grandi possono peggiorare la generalizzazione durante il fine-tuning (il problema dei «minimi appuntiti»). Una dimensione del batch di 32-64 è un buon punto di partenza.

Aggiunga il weight decay (regolarizzazione L2) all'ottimizzatore: optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-4). Il weight decay impedisce che un singolo peso cresca eccessivamente, un aspetto particolarmente importante nel fine-tuning, poiché i pesi pre-addestrati hanno già magnitudini sensate che non vogliamo perturbare in modo troppo aggressivo.

Il data augmentation applica trasformazioni casuali alle immagini di training a ogni epoca, moltiplicando di fatto le dimensioni del dataset. Questo è particolarmente importante durante il fine-tuning quando si hanno poche immagini per classe. Aumenti comuni per le immagini naturali: capovolgimento orizzontale casuale, rotazione casuale (±15°), ritaglio casuale e variazione casuale di colore (luminosità, contrasto, saturazione).

Applichi l'aumento dei dati solo durante il training, non durante la validazione o l'inferenza. Usi una trasformazione separata per il set di validazione, che applichi solo una pre-elaborazione deterministica (ridimensionamento, ritaglio al centro e normalizzazione). transforms.Compose di PyTorch semplifica questa gestione.

Quanto migliora il fine-tuning rispetto all'estrazione delle caratteristiche? In un tipico dataset personalizzato con circa 1000 immagini per classe, l'estrazione delle caratteristiche può raggiungere un'accuratezza dell'88%, mentre il fine-tuning può arrivare al 92-95%. Il miglioramento dipende in larga misura da quanto i Suoi dati differiscono da ImageNet.

Per capire cosa sta succedendo, tenga traccia di questi quattro valori: accuratezza di validazione della fase 1 (baseline dell'estrazione delle caratteristiche), accuratezza di validazione iniziale della fase 2 (non dovrebbe scendere al di sotto di quella della fase 1 se il learning rate è corretto), migliore accuratezza di validazione della fase 2 (vantaggio del fine-tuning) e accuratezza sul test (valore finale, riportato una sola volta alla fine per evitare il data leakage del set di test).

Il fine-tuning dei modelli ViT (Vision Transformer) richiede qualche attenzione aggiuntiva rispetto alle CNN. I modelli ViT contengono la Layer Normalisation anziché la Batch Normalisation, quindi le modalità model.eval() / model.train() influiscono principalmente sul dropout e non sulle statistiche di normalizzazione: questo rende il fine-tuning leggermente più semplice.

I modelli ViT traggono inoltre vantaggio da un learning rate di picco più basso durante il fine-tuning (da 1e-5 a 5e-5, rispetto a 1e-4 per le CNN), perché i pesi dell'attenzione sono sensibili agli aggiornamenti ampi. Per il fine-tuning dei ViT si preferisce nettamente l'ottimizzatore AdamW. Con un fine-tuning accurato, ViT-B/16 può superare le baseline CNN in molti compiti.

In questa lezione ha imparato che il fine-tuning in due fasi addestra prima la testa (con il backbone congelato), poi scongela il backbone usando un learning rate molto basso per evitare il catastrophic forgetting; i learning rate differenziali assegnano valori più alti alla testa e più bassi ai livelli più profondi del backbone; infine, lo scongelamento selettivo procedendo dai livelli superiori verso quelli inferiori offre il miglior compromesso tra accuratezza ed efficienza. Nel prossimo capitolo applicheremo queste tecniche a una sfida reale di imaging medico con poche etichette.