Algoritmo di backpropagation

La backpropagation è un algoritmo fondamentale utilizzato per addestrare le reti neurali. Calcola il gradiente della funzione di perdita rispetto a ciascun peso propagando gli errori all'indietro attraverso la rete.

Passaggi fondamentali della backpropagation

Il processo di backpropagation comprende:

1. Passaggio in avanti: Calcolare l'output e la perdita.
2. Passaggio all'indietro: Calcolare il gradiente della funzione di perdita rispetto a pesi e bias.
3. Aggiornamento dei pesi: Modificare i pesi utilizzando un algoritmo di ottimizzazione come la discesa del gradiente.

Funzione di perdita

La funzione di perdita quantifica la differenza tra i valori previsti e quelli effettivi. Tra le funzioni di perdita più comuni:

• Errore quadratico medio (MSE): Per le attività di regressione.
• Perdita di entropia incrociata: Per le attività di classificazione.

Discesa del gradiente

La discesa del gradiente è un algoritmo di ottimizzazione utilizzato per ridurre al minimo la funzione di perdita. Aggiorna pesi e bias compiendo piccoli passi nella direzione del gradiente negativo.

Regola di aggiornamento:

Weight = Weight - Learning_Rate * Gradient

Regola della catena nella backpropagation

La regola della catena viene utilizzata per calcolare il gradiente della funzione di perdita per ogni strato. Consente di propagare l'errore all'indietro attraverso la rete.

Ad esempio, il gradiente della perdita rispetto a un peso è:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Esempio di backpropagation

Consideri una semplice rete neurale con uno strato di input, uno strato nascosto e uno strato di output:

Utilizzando i passaggi in avanti e all'indietro, modifichiamo i pesi per ridurre al minimo l'errore durante più epoche.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Problemi della backpropagation

Tra i problemi più comuni:

• Gradienti evanescenti: I gradienti diventano troppo piccoli, rallentando l'apprendimento.
• Gradienti esplosivi: I gradienti diventano troppo grandi, causando instabilità.
• Minimi locali: L'algoritmo può rimanere bloccato in soluzioni non ottimali.

Miglioramenti della backpropagation

Per affrontare queste difficoltà, le tecniche moderne includono:

• Funzioni di attivazione: ReLU contribuisce a ridurre i gradienti evanescenti.
• Ottimizzatori: Algoritmi come Adam e RMSProp migliorano la convergenza.
• Regolarizzazione: Previene l'overfitting penalizzando i pesi di grandi dimensioni.

Riepilogo e prossimi passi

In questa lezione abbiamo:

• Esplorato l'algoritmo di backpropagation e il suo ruolo nell'addestramento delle reti neurali.
• Analizzato la discesa del gradiente e la regola della catena.
• Discusso i problemi e i moderni miglioramenti della backpropagation.

In seguito implementeremo la nostra prima rete neurale utilizzando TensorFlow, per osservare la backpropagation in azione.