Minimizzi una funzione a mano in Python

Eseguiamo manualmente il gradient descent su una semplice curva. Prima di affidare il compito a un framework, minimizzeremo una funzione di base usando Python puro.

Usiamo una parabola con un’unica valle. Il suo punto più basso si trova in x uguale a 3, quindi questo è il minimo che il nostro codice dovrebbe trovare autonomamente.

Per questa curva, la pendenza, ovvero il gradiente, è due volte x meno tre. Nei modelli reali, autograd lo calcola per voi, ma qui lo scriviamo direttamente.

La discesa ha bisogno di un punto di partenza. Scegliamo un valore iniziale arbitrario e lontano dalla risposta, per osservare i passi avvicinarsi gradualmente.

Impostiamo un learning rate moderato, in modo che i passi siano abbastanza grandi da produrre progressi, ma abbastanza piccoli da evitare di oltrepassare la valle.

Ogni iterazione applica la stessa regola vista prima: sottrarre a x il gradiente ridimensionato. Una sola riga esegue tutto il lavoro della discesa.

Un solo passo non è sufficiente, quindi inseriamo l’aggiornamento in un ciclo. Una ventina di iterazioni permette a x di avvicinarsi gradualmente al minimo.

Stampando x e f(x) a ogni iterazione, vedrete che convergono: x si avvicina a 3 e il valore della funzione tende a zero.

Notate che i movimenti si riducono avvicinandosi al fondo. Vicino al minimo, il gradiente è piccolo, quindi ogni passo rallenta naturalmente senza codice aggiuntivo.

Impostate il learning rate su un valore come 1.1 ed eseguite di nuovo il codice. x si allontana oscillando invece di stabilizzarsi, mostrando chiaramente come un passo troppo grande causi la divergenza.

Queste poche righe fanno esattamente ciò che fa il deep learning, ma con milioni di pesi e un gradiente automatico. Il ciclo fondamentale non cambia mai.

Avete implementato manualmente il gradient descent: definite una funzione e il suo gradiente, iniziate da un punto qualsiasi, quindi ripetete la regola di aggiornamento finché x converge al minimo. ✅