La loss come paesaggio da percorrere in discesa

La loss del modello è un singolo numero che indica quanto sono errate le sue previsioni. Una loss più bassa significa previsioni migliori. Addestrare il modello significa semplicemente cercare di ridurla. 📉

Gli stessi dati producono una loss diversa a seconda dei pesi. Modificate un peso e la loss aumenterà o diminuirà. In definitiva, la loss è una funzione dei pesi.

Immaginate ogni configurazione dei pesi come un punto su un paesaggio collinare, dove l’altezza del punto rappresenta la loss. Addestrare il modello significa scendere verso quote più basse.

Il punto più basso di questo paesaggio è il minimo: la configurazione dei pesi in cui il modello effettua le previsioni migliori. L’obiettivo è raggiungere il fondo della valle.

Con un solo peso, il paesaggio è semplicemente una curva bidimensionale. Potete tracciare la loss in funzione del peso e vedere esattamente il punto in cui la loss è minima.

Aggiungendo un secondo peso, la curva diventa una superficie tridimensionale con colline e valli. I modelli reali hanno milioni di pesi, quindi il paesaggio si estende in milioni di dimensioni.

In dimensioni elevate non è mai possibile osservare l’intero paesaggio in una volta sola. Potete percepire soltanto la pendenza proprio sotto i vostri piedi e procedere di conseguenza.

Una pendenza ripida indica che in quel punto la loss cambia rapidamente, quindi un piccolo passo può essere molto efficace. Un terreno pianeggiante indica che siete vicini a una valle o a un altopiano e che i progressi rallentano.

Il paesaggio può contenere molte depressioni. Un minimo locale è una piccola valle che vi blocca a un livello superiore rispetto alla valle più profonda. In genere, le reti profonde si addestrano comunque bene.

L’intero algoritmo di addestramento si chiama gradient descent per un motivo: procedete ripetutamente in discesa su questo paesaggio della loss finché non vi stabilizzate vicino al fondo.

Pensare alla loss come a un terreno rende intuitivo l’addestramento: dove vi trovate, qual è la direzione della discesa e quanto deve essere grande il passo? Ogni altro concetto parte da questa immagine.

La loss è un numero che dipende dai pesi, quindi forma un paesaggio di colline e valli. Addestrare il modello significa scendere verso il valore minimo della loss che riuscite a trovare. 🏔️