Gradienti evanescenti ed esplosivi

Attraverso molti layer, la retropropagazione moltiplica tra loro molte local derivatives. La dimensione di questo lungo prodotto determina se l'apprendimento funziona o si interrompe.

Se la derivata di ogni collegamento è inferiore a uno, il prodotto si riduce rapidamente. Dopo molti layer, il gradiente diventa tiny, quasi nullo quando raggiunge i layer iniziali.

Quando i gradienti si riducono quasi a zero, i layer iniziali si aggiornano appena e smettono di imparare. Questo è il problema del vanishing gradient che per lungo tempo ha ostacolato le reti profonde.

Se ogni derivata è superiore a uno, il prodotto invece esplode. I gradienti diventano huge mentre risalgono la rete e i pesi compiono variazioni eccessive.

I gradienti fuori controllo causano il problema dell'exploding gradient. Spesso la loss diventa NaN quando gli aggiornamenti superano di gran lunga qualsiasi valore utile. 💥

Sigmoid e tanh comprimono gli input, quindi le loro derivate rimangono ben al di sotto di uno. Impilarle multiplied numeri piccoli e ha reso comuni i gradienti evanescenti.

ReLU ha una derivata esattamente pari a uno per gli input positivi, quindi non riduce il gradiente. Il passaggio a ReLU è stato una delle prime soluzioni fondamentali.

Schemi intelligenti come l'inizializzazione Xavier e He ridimensionano i pesi iniziali, così il prodotto dei gradienti rimane vicino a uno anche attraverso molti layer.

Per contenere le esplosioni, il gradient clipping limita la dimensione del gradiente prima dell'aggiornamento, impedendo che un singolo passaggio enorme rovini il modello.

ResNet aggiunge skip connections che permettono ai gradienti di tornare indietro direttamente, evitando la lunga catena di moltiplicazioni che causa il vanishing gradient.

Mantenere il product dei gradienti vicino a uno è ciò che permette alle reti molto profonde di essere addestrate. Ogni soluzione presentata serve a proteggere questo equilibrio.

I prodotti lunghi di derivate possono vanish oppure esplodere. ReLU, un'inizializzazione attenta, il clipping e le skip connection mantengono sani i gradienti nelle reti profonde. 💥