Algoritmo di backpropagation

La backpropagation è un algoritmo fondamentale utilizzato per addestrare le reti neurali. Calcola il gradiente della funzione di perdita rispetto a ciascun peso propagando gli errori all'indietro attraverso la rete.

Passaggi chiave della backpropagation

Il processo di backpropagation prevede:

1. Passaggio in avanti: Calcolare l'output e la perdita.
2. Passaggio all'indietro: Calcolare il gradiente della funzione di perdita rispetto a pesi e bias.
3. Aggiornamento dei pesi: Modificare i pesi usando un algoritmo di ottimizzazione come la discesa del gradiente.

Funzione di perdita

La funzione di perdita quantifica la differenza tra i valori previsti e quelli effettivi. Tra le funzioni di perdita più comuni ci sono:

• Errore quadratico medio (MSE): Per le attività di regressione.
• Perdita di entropia incrociata: Per le attività di classificazione.

Discesa del gradiente

La discesa del gradiente è un algoritmo di ottimizzazione usato per minimizzare la funzione di perdita. Aggiorna pesi e bias compiendo piccoli passi nella direzione opposta al gradiente.

Regola di aggiornamento:

Weight = Weight - Learning_Rate * Gradient

Regola della catena nella retropropagazione

La regola della catena viene utilizzata per calcolare il gradiente della funzione di perdita per ogni strato. Consente di propagare l’errore all’indietro attraverso la rete.

Ad esempio, il gradiente della perdita rispetto a un peso è:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Esempio di retropropagazione

Si consideri una semplice rete neurale con uno strato di input, uno strato nascosto e uno strato di output:

Utilizzando le passate in avanti e all’indietro, si regolano i pesi per ridurre al minimo l’errore in più epoche.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Problemi della retropropagazione

Tra i problemi più comuni vi sono:

• Gradienti evanescenti: i gradienti diventano troppo piccoli, rallentando l’apprendimento.
• Gradienti esplosivi: i gradienti diventano troppo grandi, causando instabilità.
• Minimi locali: l’algoritmo può rimanere bloccato in soluzioni non ottimali.

Miglioramenti della retropropagazione

Per affrontare questi problemi, le tecniche moderne includono:

• Funzioni di attivazione: ReLU contribuisce a ridurre il problema dei gradienti evanescenti.
• Ottimizzatori: algoritmi come Adam e RMSProp migliorano la convergenza.
• Regolarizzazione: previene l’overfitting penalizzando i pesi di grandi dimensioni.

Riepilogo e prossimi passi

In questa lezione:

• abbiamo analizzato l’algoritmo di retropropagazione e il suo ruolo nell’addestramento delle reti neurali;
• abbiamo appreso il funzionamento della discesa del gradiente e della regola della catena;
• abbiamo esaminato i problemi e i miglioramenti moderni della retropropagazione.

Nel prossimo passaggio implementeremo la nostra prima rete neurale con TensorFlow per osservare la retropropagazione in azione.