Sigmoid e Tanh: comprimere in un intervallo

Alcune attivazioni comprimono ogni input in un intervallo fisso. Le due classiche sono sigmoid e tanh, che riportano entrambe con gradualità i numeri grandi verso l'interno. 🤏

Sigmoid mappa ogni valore nell'intervallo aperto tra 0 e 1. Per questo il suo output si interpreta naturalmente come una probabilità.

Sigmoid ha una forma a S morbida: vicino a zero cambia rapidamente, mentre lontano da zero si appiattisce. Gli input grandi vengono tutti mappati su valori quasi uguali.

Tanh è una parente di sigmoid, ma comprime gli input nell'intervallo tra meno 1 e più 1, centrato esattamente su zero.

Poiché tanh è centrata su zero, i suoi output sono bilanciati attorno allo zero. Per i livelli nascosti questo porta spesso a un apprendimento più regolare e veloce rispetto a sigmoid.

Agli estremi, entrambe le curve diventano quasi piatte. Una regione piatta indica una pendenza minima, e una pendenza minima implica un gradiente minimo.

Quando i gradienti si avvicinano allo zero, i primi livelli si aggiornano a malapena. Questa trappola del gradiente evanescente blocca l'addestramento delle reti profonde. 😴

Questo problema del gradiente evanescente spiega proprio perché ReLU ha sostituito sigmoid e tanh nella maggior parte dei livelli nascosti. ReLU mantiene un gradiente efficace per i valori positivi.

Sigmoid resta utile nell'output di un classificatore binario, quando serve effettivamente una singola probabilità compresa tra 0 e 1.

tanh compare ancora all’interno di celle ricorrenti come LSTM, dove la sua uscita limitata e centrata sullo zero aiuta a mantenere stabile lo stato nascosto.

Regola generale: evitate sigmoid e tanh negli stack nascosti profondi, ma mantenete sigmoid per un’unica uscita di probabilità. Scegliete lo strumento adatto al compito.

Sigmoid comprime i valori nell’intervallo da 0 a 1, mentre tanh nell’intervallo da -1 a 1. Le loro estremità piatte causano gradienti evanescenti, quindi riservatele alle uscite e alle celle speciali. 🎯